Родился 28 мая 1917 года в селе Песчанское Песчанской волости, Шадринского уезда Пермской губернии (ныне Щучанского района Курганской области) в семье крестьянина. Русский.
Окончил школу-семилетку в родном селе. Затем после учёбы в Миасском педучилище год работал учителем истории в Николаевской семилетней школе.
В 1939 году был призван в Красную Армию. В составе саперного подразделения участвовал в войне с Финляндией 1939-1940 годов.
После демобилизации вернулся в родные края. Работал на Челябинском металлургическом комбинате в военизированной охране стрелком.
2 октября 1941 годы был вновь призван в армию Сталинским райвоенкоматом города Челябинска.
С 24 декабря 1941 года на фронте. В составе 480-го отдкльного сапёрного батальона 342-й стрелковой дивизии принимал участие в контрнаступлении, развернувшемся под Москвой. Со своим отделением делал проходы в минных полях и проволочных заграждениях, обеспечивая продвижение наших войск.
В июле 1943 года в составе своего подразделения принимал участие в Орловской наступательной операции. В этих боях командир отделения лично снял и обезвредил более сотни противотанковых и противопехотных мин. За успешное выполнение боевого задания по разминированию города Мценск был награждён медалью «За отвагу». Дивизия продолжала наступление. За успешные боевые действия по освобождению городов Мглин, Сураж дивизия была преобразована в 121-ю гвардейскую и в начале 1944 года вошла в состав 13-й армии.
С 1943 года член ВКП(б).
В ночь с 16 на 17 мая 1944 года в районе населенного пункта Олиев младший сержант Верховых с группой саперов проделал проходы в минных полях и заграждениях, обеспечив выход разведгруппы. Разведчики проникли в расположение вражеской обороны и захватили «языка». В наградном листе указывалось, что боец Верховых и ранее ходил в разведку шесть раз в качестве старшего группы саперов, где с его стороны были проявлены смелость, инициатива и неуклонное стремление к выполнению боевой задачи. Приказом по 121-й стрелковой дивизии от 16 июня 1944 года за мужество и отвагу, за инициативу, проявленные в бою, гвардии младший сержант Верховых Иван Андреевич награждён орденом Славы 3-й степени.
В июле 1944 года развернулось мощное наступление на Западной Украине. Вместе с разведчиками гвардии сержант Верховых шел впереди наступающих войск. 13 июля в районе города Томашув Верховых в дневное время под огнем противника проделал проход в проволочных заграждениях и первым ворвался в траншею противника. 23 июля в ходе инженерной разведки в районе реки Сан севернее города Ярослав отыскал брод для переправы и обеспечил форсирование водной преграды. Приказом по 27-м стрелковому корпусу от 28 августа 1944 года за мужество и отвагу, проявленные при форсировании реки, сержант Верховых Иван Андреевич награждён орденом Славы 2-й степени.
Накануне наступления на Сандомирском плацдарме 12 января 1945 года саперное отделение гвардии сержанта Верховых проделало несколько проходов в минных полях и проволочных заграждениях противника, обеспечив продвижение наступающей пехоты и танков без единого случая подрыва на вражеских минах. 25 января в районе города Кебен сержант Верховых с группой разведчиков и саперов по тонкому льду переправился через реку Одер, провел разведку. Затем участвовал в наведении паромной переправы, лично закрепив трос на вражеском берегу.
Указом Президиума Верховного Совета СССР от 10 апреля 1945 года за образцовое выполнение заданий командования в боях с немецко-фашистскими захватчиками гвардии сержант Верховых Иван Андреевич награждён орденом Славы 1-й степени. Стал полным кавалером ордена Славы.
День Победы встретил в Праге. После войны гвардии старший сержант Верховых был демобилизован. Вернулся на Урал.
С 1948 года жил в городе Нижний Тагил. Работал начальником охраны хлебокомбината в поселке Вый, ныне район города Нижний Тагил. Учился в горно-металлургическом техникуме.
30 марта 1951 года Иван Андреевич Верховых покончил с собой. Похоронен в Нижнем Тагиле на Рогожинском кладбище.