Александр Ганжа родился 2 декабря 1921 года в городе Ахтырка (ныне - Сумская область Украины). Окончил среднюю школу. В РККА с 1940 года. В 1941 году Ганжа окончил Чкаловское военное зенитно-артиллерийское училище и был направлен на фронт Великой Отечественной войны.
В 1950 году Ганжа окончил Военную артиллерийскую академию, после чего служил на командных должностях в военных училищах СССР. В 1970 году он был назначен на должность начальника Смоленского высшего зенитного артиллерийского инженерного училища (ныне - Военная академия войсковой противовоздушной обороны Вооружённых Сил Российской Федерации). В 1983 году в звании генерал-майора Ганжа выше в отставку.
Скончался 30 октября 2002 года, похоронен на Братском кладбище Смоленска.
Был награждён орденом Отечественной войны 1-й степени, двумя орденами Красной Звезды, орденом «За службу Родине в Вооружённых Силах СССР» 3-й степени, рядом медалей.