Родился 27 января 1918 года в городе Ольвиополь, в семье железнодорожника. После окончания семи классов поступил в железнодорожную школу фабрично-заводского ученичества в городе Гайворон. Успешно закончив её, работал слесарем в депо, а затем помощником машиниста паровоза на Одесской железной дороге.
В сентябре 1938 года был призван в ряды Красной Армии и направлен в полковую школу одной из железнодорожных частей в Витебске. Продолжал службу в 8-м отдельном восстановительном железнодорожном батальоне 17-й железнодорожной бригады. В 1939 году принимал участие в освободительном походе в Западную Белоруссию, в 1940 году - в Бесарабию. Затем в составе батальона занимался перешивкой западной колеи на российскую на участке Могилев - Унгены, в Белоруссии строил дорогу между станциями Тимковичи и Барановичи. Здесь старшиной 2-й роты Гаркавенко встретил начало Великой Отечественной войны.
С первых дней войны в задачи его батальон входили тушение пожаров, восстановление путей после налетов, сооружение заграждений на пути вражеских частей. Без спецтехники, подручными средствами солдаты спасали от огня составы с горючим, шедшие на фронт, с оборудование, эвакуированным на восток. Приходилось участвовать и в боях.
На одном из перегонов старшина Гаркавенко организовал работы по спасению бронепоезда «Народный мститель», который частично сошел с рельс: рельс перед бронепоездом перебило снарядом, и первая колесная пара оказалась на земле. Несмотря на непрерывный обстрел бронепоезда противником, воины-железнодорожники и бойцы бронепоезда, под руководством Гаркавенко за неполных два часа восстановили путь и поставили бронепоезд на рельсы.
В составе 8-го отдельного восстановительного железнодорожного батальона, старшина Гаркавенко принимал непосредственное участие в обеспечении боевых действий частей и подразделений Западного, Калининского и Прибалтийского фронтов, личным примером вдохновлял бойцов на выполнение стоящих задач. В составе мостовой роты участвовал в строительстве и восстановлении десятков больших и малых мостов. Член ВКП(б)/КПСС с 1943 года.
Однажды комплексная бригада старшины Гаркавенко получила задание: срочно на головном участке, в зоне огня противника восстановить 700 метров пути. Сам старшина действовал так, будто он всю жизнь забивал костыли, рубил рельсы, рихтовал путь. Он всегда находился на том участке, где было наиболее трудно. Об этом красноречиво свидетельствуют строки из наградного листа:
«…Несмотря на вражеские пули и разрывы снарядов, воины-восстановители в первый же день выполнили все работы, предусмотренные графиком. Но бойцы не ушли отдыхать, а по примеру старшины Гаркавенко продолжали работать, понимая ответственность возложенной на них задачи. На день раньше срока закончили они восстановление пути».
Указом Президиума Верховного Совета СССР от 5 ноября 1943 года «за особые заслуги в обеспечении перевозок для фронта и народного хозяйства и выдающиеся достижения в восстановлении железнодорожного хозяйства в трудных условиях военного времени» старшине Гаркавенко Ивану Петровичу присвоено звание Героя Социалистического Труда с вручением ордена Ленина (№ 16251) и золотой медали «Серп и Молот» (№ 120).
В 1944 году участвовал в восстановительных работах в полосе 1-го Прибалтийского фронта. Вскоре был направлен на учёбу в Ленинградское ордена Ленина Краснознаменное училище военных сообщений имени М. В. Фрунзе. В училище был старшиной курсантской роты, куда входило отделение Героев. Закончив учёбу, весной 1945 года вернулся в свою часть офицером.
Летом 1945 года бригада, которой служил Гаркавенко, строила железную дорогу на южном берегу Байкала от Иркутска до станции Слюдянка, обеспечивала боевые действия Забайкальского фронта.
После войны продолжил службу в железнодорожных войсках. Восстанавливал разрушенное железнодорожное хозяйство в Донбассе, возводил вторые пути от станции Песчанка до Купянска, участвовал в развитии железнодорожного хозяйства Куйбышевской и Волжской ГЭС. С 1960 года майор Гаркавенко в запасе. Более 20 лет прослужил в одном батальоне, только в разных железнодорожных бригадах.
На постоянное место жительства приехал на родину жены в город Ярославль. В марте 1961 года обкомом партии был направлен в Угличский район председателем колхоза имени Калинина и за несколько лет он вывел его в передовые. Затем работал мастером производственного обучения в строительном училище № 2 города Ярославля, был слесарем, такелажником на Ярославском моторном заводе.
После выхода на заслуженный отдых в 1986 году переехал на родину, жил в селе Станиславчик Первомайского района Николаевской области. Позднее вернулся в Ярославль. Скончался 29 ноября 2008 года. Похоронен в Ярославле, на Воинском мемориальном (Леонтьевском) кладбище.
В 2000 году по приказу командующего Железнодорожными войсками подполковник запаса Иван Петрович Гаркавенко зачислен почетным солдатом 1-го отделения 1-го понтонно-мостового батальона Испытательного центра железнодорожных войск.