Иван Голуб родился 19 марта 1914 года в станице Старолеушковская (ныне - Павловский район Краснодарского края). После окончания семилетней школы работал сначала в сельхозартели, затем в совхозе. В ноябре 1933 года Голуб окончил техшколу, после чего работал бригадиром пути и дорожным мастером на железной дороге. Позднее Голуб окончил курсы механиков тяжёлых путевых машин при Тульском железнодорожном техникуме.
С апреля 1941 года Голуб участвовал в реконструкции железной дороги Клин-Бологое. Здесь его застало начало Великой Отечественной войны. Голуб участвовал в восстановлении разрушенных при бомбёжках коммуникаций, а затем в строительстве пути нового Большого кольца вокруг Москвы, Северо-Печорской железной дороги, усилении Юго-Восточной железной дороги. Применял особый механизм, позднее получивший известность как путерасшивщик системы Голуба. Голуб с товарищами активно работал на восстановлении железных дорог под Сталинградом.
Указом Президиума Верховного Совета СССР от 5 ноября 1943 года за «особые заслуги в деле обеспечении перевозок для фронта и народного хозяйства и выдающиеся достижения в восстановлении железнодорожного хозяйства в трудных условиях военного времени» Иван Голуб был удостоен высокого звания Героя Социалистического Труда с вручением ордена Ленина и медали «Серп и Молот» за номером 97.
В 1946 году Голуб окончил Центральные технические курсы МПС СССР, в 1948 году - заочно Ростовский железнодорожный техникум, в 1956 году - Ростовский институт инженеров железнодорожного транспорта. Работал на высоких должностях в Министерстве путей сообщения. Проживал в Москве. Умер 26 марта 1986 года.
Дважды Почётный железнодорожник. Был также награждён орденами Трудового Красного Знамени, «Знак Почёта» и Красной Звезды, рядом медалей.