Ребров родился в Шпандау в семье немецкого инженера. Его мать, Наталья Нелина, хорошо знала Фёдора Шаляпина. Детство провёл в городе Халле, где пел в городском хоре.
Детство провел в Германии, пока к власти не пришли нацисты. Тогда семья эмигрировала и вернулась только в 1953 году.
Учился пению в Государственной высшей школе музыки в Гамбурге (1951-1959) как лауреат стипендии Фулбрайта, а также брал уроки у известного баса Александра Кипниса. В 1958 году он победил в институтском конкурсе пения. В 1954 году был принят в Черноморский казачий хор, которым руководил в тот период Андрей Иванович Шолух (1895-1979). Как вспоминал певец в немногочисленных интервью, именно Шолух подал ему идею взять сценический псевдоним «Ребров», переведя на русский фамилию и имя его отца, инженера из Гессена Пауля Рипперта (нем. die Rippe - 'ребро'), заметив: «Иван Павлович, если хочешь сделать карьеру с русскими песнями, - пой только по-русски!»
Знаком был Ребров и с казаками из Уральского казачьего хора и особенно с Хором Донских Казаков под управлением Сергея Алексеевича Жарова (Serge Jaroff, 1897-1985), переняв у них многие вокальные приёмы, оттачивая своё вокальное мастерство и умение брать как самые высокие ноты (фа-соль второй октавы) и предельно низкие, свойственные русским басам-октавистам (ля-соль-фа контроктавы). Победив на конкурсе молодых талантов в Мюнхене, он получил трёхгодичный контракт на работу в Гельзинкирхенском оперном театре, где с успехом исполнял партии Дона Базилио, Короля Генриха, Бориса Годунова и многих других, с успехом выступал он и во Франкфурте-на-Майне. Однако оперная карьера Ивана Реброва, о которой певец так мечтал, не задалась: в ноябре 1967 года на одном из показов оперетты Жака Оффенбаха «Орфей в аду» он порвал ахиллово сухожилие, и врачи предписали полный покой. В период вынужденного простоя певец записал пластинку с несколькими русскими песнями, среди них была и «Легенда о двенадцати разбойниках», которая в начале 1968 года прозвучала на радио в одной музыкальной передаче. Мгновенно посыпались сотни писем с просьбой рассказать о певце с таким уникальным голосом. Осенью того же года банкир Ротшильд, в поисках главного героя для постановки мюзикла «Тевье из Анатевки» («Скрипач на крыше») по повести Шолом-Алейхема, остановил свой выбор на Реброве, что стало поворотным этапом в его карьере. В Париже в театре Мариньи на Елисейских полях французская версия этого мюзикла с Ребровым в партии Тевье-молочника выдержала более 1400 представлений. С этого начались незабываемые мировые турне Реброва по всему миру с русским репертуаром в сопровождении ансамблей «Чайка» и «Тройка».
В год певец давал до 300 концертов. Свободно владея пятью языками, в том числе и русским, Ребров распространял и популяризировал русские песни и романсы по многим странам. Трижды певец бывал в Советском Союзе, дважды - неофициально, в качестве туриста в начале 1970-х годов, а в весной 1989 года по приглашению Михаила Горбачёва состоялся первый сольный концерт Реброва в Москве во Дворце Спорта «Динамо» в сопровождении Оркестра народных инструментов им. Н. П. Осипова.
С 1975 года Ребров жил попеременно то в собственном замке в Германии в районе Таунусских гор, то на личной вилле на греческом острове Скопелос в Эгейском море, в 1991 году певцу было присвоено звание Почётного гражданина этого острова. В Германии в 1985 году Ребров был награждён орденом «За заслуги перед Федеративной Республикой Германия». За свою карьеру певец записал 49 золотых и 1 платиновый диск, провёл множество шоу на немецком телевидении, снялся в ряде фильмов. Несмотря на ухудшающееся здоровье (диабет и проблемы с сердцем), до последних дней он продолжал давать концерты, выступал в залах и церквях, всё больше отдавая предпочтение духовным кантатам и ариям, был гостем многих телевизионных передач. Свой последний концерт он дал в венской Вотивкирхе в декабре 2007 года.
Несмотря на шокирующий некоторых иностранцев облик «русского медведя» - в неизменной меховой шапке, собольей шубе и расшитой косоворотке, Ребров был очень любим в Германии и западной Европе. «Всей душой я русский, моё сердце принадлежит России!» - говорил певец в редких интервью.
На протяжении своей карьеры Ребров заработал внушительное состояние. В интервью «Радио Свобода» он сказал: «Я напел на двадцать жизней!», однако накопительство и жадность не были свойственны ему совершенно. По словам Бориса Рубашкина: «Иван за всю жизнь ни с кем не испортил отношений, не рассорился. Дурных слухов о нём тоже почти не было». Страдая много лет от хронического сахарного диабета, что ускорило его уход из жизни, он много сил отдавал на проведение благотворительных акциий. Меценатство и благотворительность исходили от души и сердца Маэстро. Он составил объёмное завещание, в котором часть состояния завещал Ирме Вебер (совладелице «Концертного бюро Ивана Реброва» и его собственной звукозаписывающей студии «Elisar Records» в Оффенбурге), а другую - большую, на благотворительные цели и пожертвования. Заключив Посмертный договор с десятками европейских издательств, он продолжил свою благотворительность. С определённой периодичностью продолжают выходить в свет диски, сбором средств от продажи которых, финансируются фонды помощи больным сахарным диабетом. Так же, финансируются научные разработки в этой области. Во избежание злоупотреблений и коррупции, адвокаты-инкогнито контролируют коммерческую сторону всех договоров.
Ребров завещал развеять свой прах над Эгейским морем, но в апреле 2008 года урна с прахом исчезла.
Летчик люфтваффе Хорст Рипперт (1922-2013) , брат Реброва, сбил самолет Антуана де Сент-Экзюпери в бою во время Второй мировой войны.