Родился 9 марта 1910 года в деревне Зиновидово ныне Ржевского района Тверской области в крестьянской семье. Русский. Окончил сельскую школу. Работал на фабрике «Приводной ремень» в Москве. Член ВКП(б)/КПСС с 1941 года.
В Красной Армии с 1932 года. В 1937 году окончил Саратовское пограничное училище. Участник Великой Отечественной войны с июня 1941 года.
Помощник начальника штаба 1-й пограничной комендатуры (25-й Кагульский пограничный отряд, Молдавский пограничный округ Войск НКВД) старший лейтенант Александр Константинов 22 июня 1941 года принял на себя в первый руководство обороной пограничной заставы № 5 у города Кагул (Молдавия), вблизи села Стояновка. В течение дня застава под его командованием отразила одиннадцать атак противника.
24 июня 1941 года старший лейтенант Константинов вместе со своими бойцами отбил у врага железнодорожный мост через реку Прут, лично уничтожив при этом два пулемётных расчёта противника.
Указом Президиума Верховного Совета СССР от 26 августа 1941 года за образцовое выполнение боевых заданий командования на фронте борьбы с немецко-фашистским захватчиками и проявленные при этом мужество и героизм старшему лейтенанту Константинову Александру Константиновичу присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда» (№ 618).
В 1950 году герой-пограничник окончил Военный институт МВД, служил в пограничных войсках. С 1959 года полковник А. К. Константинов - в отставке. Жил в Одессе. Скончался 16 июня 1994 года. Похоронен в Одессе на 2-м Христианском кладбище.
Награждён орденами Ленина, Красного Знамени, Отечественной войны 1-й и 2-й степени, 2 орденами Красной Звезды, медалями.
В честь Героя установлен памятник на одной из пограничных застав.