Родился в 7 часов вечера 11 (24) июня 1908 года в Валке (ныне Валга, Эстония) в семье Роберта Адольфа Ребане (11.12.1881-?) и его первой жены Хелены Агнессы Марии Редель (21.4.1889-25.2.1910). В метрической записи фамилия указана как «Реббане». Отец Альфонса работал на фабрике роялей, впоследствии, после переезда семьи в 1920 году в Нарву - на железной дороге. После смерти первой жены он женился на её сестре, в браке родилась сестра Альфонса Астрид (20 августа 1915 - 18 мая 2008 года).
Альфонс ходил в школу в родном городе, овладел латышским и немецким языками. Образование он продолжил вместе с сестрой в Нарвской русской гимназии, где выучил русский язык и встретил свою будущую жену Агнию Сахарову (1907-1980).
В 1929 году окончил Высшую военную школу в Таллине, служил в 1-м полку бронепоезда, в Ляэнеской дружине Кайтселийта, в автотанковом полку. В феврале 1933 года получил звание лейтенанта.
В июле 1940 года была образована Эстонская Советская Социалистическая Республика, а вооружённые силы Эстонской республики были переименованы в Эстонскую народную армию. 1 августа 1940 года Ребане был назначен командиром взвода лёгких танков Таллинского автотанкового полка Эстонской народной армии. В сентябре 1940 года Народная армия Эстонии была расформирована и на её основе был образован 22-й Эстонский территориальный стрелковый корпус Красной Армии, в котором Ребане прослужил до 25 октября 1940 года, когда был уволен в запас. Впоследствии работал строительным рабочим в Лихула.
В мае 1941 года уволился с работы и организовал отряд «лесных братьев», чтобы воевать против советских войск.
Вторая мировая войнаПосле нападения Германии на СССР 22 июня 1941 года отряд Ребане приступил к вооружённой борьбе против Красной Армии. Позже был назначен командиром отдельного эстонского охранного (конвойного) батальона. В 1942 году в звании гауптштурмфюрера воевал на Волховском фронте против армии генерала Власова, в марте 1943 года назначен командиром добровольческого 658-го Восточного батальона СС, который совершал карательные экспедиции против мирного населения в районе г. Кингисеппа, где были сожжены несколько деревень (Бабино, Хабалово, Чигиринка и др.). В начале 1944 года отличился в бою под Вашково, где было приостановлено продвижение советских войск. В феврале 1944 года был награждён Рыцарским крестом Железного креста. Воевал в 20-й дивизии СС, командуя 45-м полком, участвовал в битве под Нарвой.
Вторую мировую войну Ребане закончил в должности исполняющего обязанности командира 20-й дивизии СС. Бежал с 45-м полком на Запад. Руководство Третьего рейха не знало, что Ребане 8 мая сдался в плен англо-американским войскам, и он был награждён дубовыми листьями к Рыцарскому кресту за исключительную храбрость на поле боя (только девять иностранцев были удостоены этой награды).
После войныЖил в Великобритании, сотрудничал с британской разведкой, сыграв важную роль в организации в Эстонии сети вооружённого антисоветского подполья, но провалил миссию и был уволен из британской разведки. В 1961 году переехал в Германию, умер в 1976 году в Аугсбурге, получив за год до смерти тот самый Рыцарский крест.
Современное отношение эстонского обществаВ 1999 году с воинскими почестями перезахоронен на таллинском кладбище Метсакальмисту при финансовой поддержке правительства Эстонии. На торжественной церемонии присутствовали министр обороны Андрус Ээвель, командующий силами обороны генерал-лейтенант Йоханнес Керт, чиновники минобороны, офицеры, парламентарии, также около 400 членов «Союза борцов за свободу Эстонии», воевавших на стороне Германии. У надгробного памятника из чёрного гранита был исполнен гимн Эстонии. Негативно оценили перезахоронение ряд общественных организаций (в том числе Еврейская община Эстонии). Американский еврейский конгресс вручил послу Эстонии в США письмо с протестом, заявив, что правительство Эстонии «совершило чудовищную ошибку», приняв участие в акции перезахоронения.
Президент Эстонии Арнольд Рюйтель, комментируя мероприятие, заявил, что Ребане «участвовал лишь в боях на фронте и абсолютно не принимал участия в уничтожении мирного населения».
В 2004 году в посёлке Вийтна в западной Эстонии был установлен памятник Ребане. Депутат парламента Эстонии Тривими Веллисте, выступая на церемонии открытия, назвал Ребане национальным героем. Веллисте отметил, что «крайне важно, учитывая необходимость сохранить историческую память для наших потомков, сберечь дух эстонской нации». На памятнике заслуги Ребане перед нацистской Германией были отмечены выбитой надписью: «Кавалеру ордена Рыцарский крест с дубовыми листьями».
Депутат Сейма Латвии, секретарь парламентской комиссии по обороне, внутренним делам и борьбе с коррупцией и бывший легионер СС Висвалдис Лацис положительно оценил перезахоронение Ребане, призвав власти Латвии следовать примеру Эстонии: «А как сделали эстонцы? Они привезли прах своего полковника Ребане и перезахоронили его у себя на родине в Эстонии. Эстонцы не боятся, они не трусы - как наши. Эстонцы своих легионеров зовут борцами за свободу».