Родился 11 (24) ноября 1916 года в городе Курск. Русский. В 1932 году окончил школу-семилетку.
В 1934 году окончил Тамбовскую лётную школу ГВФ, был оставлен в ней лётчиком-инструктором. С 1937 работал пилотом в Гражданском Воздушном Флоте. Летал на авиалиниях Азово-Черноморского управления ГВФ, затем - на авиалиниях Москва-Баку и Москва-Сочи.
В армии с мая 1940 года. В 1940 году окончил курсы командиров звеньев при Кировабадской военной авиационной школе лётчиков. Был лётчиком-инструктором в Слонимской (1940-1941), Поставской (январь-август 1941) и Оренбургской (с августа 1941 года) военных авиационных школах лётчиков.
Участник Великой Отечественной войны: в октябре 1942-январе 1943 проходил боевую стажировку на должностях командира звена и заместителя командира авиаэскадрильи 33-го гвардейского штурмового авиационного полка (Северо-Западный фронт). С января 1943 - лётчик-инспектор Управления штурмовой авиации Главного Управления боевой подготовки фронтовой авиации ВВС Красной Армии. Неоднократно выезжал в части 13-й, 2-й и 16-й воздушных армий. Всего за время войны совершил 80 боевых вылетов на штурмовиках Ил-2 и Ил-10, в воздушных боях его экипаж сбил 7 истребителей противника.
После войны продолжал службу в Главном Управлении боевой подготовки фронтовой авиации ВВС Красной Армии.
С января 1949 года - на лётно-испытательной работе в Государственном Краснознамённом научно-испытательном институте ВВС (ГК НИИ ВВС). Провёл государственные испытания стратегических бомбардировщиков Ту-4 и Ту-85, пассажирского самолёта Ту-70, реактивного бомбардировщика Ил-28 и его учебно-тренировочной модификации Ил-28У, а также испытания системы дозаправки в полёте бомбардировщиков Ту-4 и Ту-16. Участвовал в госиспытаниях реактивного штурмовика Ил-40, первого отечественного реактивного пассажирского самолёта Ту-104, стратегического бомбардировщика Ту-95 и других самолётов.
За мужество и героизм, проявленные при испытаниях новой авиационной техники, полковнику Иванову Виктору Алексеевичу Указом Президиума Верховного Совета СССР от 9 сентября 1957 года присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда» (№ 11100).
В марте 1958 года назначен заместителем начальника ГК НИИ ВВС по лётной части. В августе 1958 года после катастрофы военного самолёта Ту-16, в результате которой погибли местные жители, был отстранён от занимаемой должности и в декабре 1958 года назначен командиром 839-го отдельного смешанного испытательного авиационного полка. Занимался испытаниями радиолокационных станций на самолётах Ил-14, МиГ-17, Як-27, Як-28 и других. В 1962-1965 - командир 839-го отдельного учебно-тренировочного авиационного полка, занимавшегося тренировкой космонавтов на режимах невесомости. В 1965-1968 - старший лётчик-инспектор ГК НИИ ВВС.
Жил на станции Чкаловская (в черте города Щёлково) Московской области. Умер 4 января 1969 года. Похоронен в посёлке Монино Щёлковского района на Гарнизонном кладбище.
Полковник (1951), лётчик-испытатель 1-го класса (1954), военный лётчик 1-го класса (1964). Награждён 2 орденами Ленина (1956, 1957), 4 орденами Красного Знамени (1943, 1945, 1954, 1955), орденом Отечественной войны 1-й степени (1943), 3 орденами Красной Звезды (1943, 1950, 1955), медалями, монгольским орденом «Полярная Звезда».