Зарубин Иван Иванович родился 12 августа 1822 года.
2 апреля 1834 года поступил учеником в Кондукторские роты Учебного морского рабочего экипажа. 9 августа 1844 года произведён в прапорщики корпуса корабельных инженеров по управлению паровыми механизмами и направлен для прохождения службы на Балтийский флот. Служил корабельным инженером на фрегатах «Камчатка» и «Богатырь», пароходах «Быстрый», «Александрия» и «Гремящий». 6 декабря 1850 года был произведён в подпоручики корпуса корабельных инженеров.
В 1852-1854 годах в составе экспедиции вице-адмирала Е. В. Путятина участвовал в качестве корабельного инженера на фрегате «Паллада» (командир - капитан-лейтенант И. С. Унковский) в дальнем плавании отряда кораблей Балтийского флота из Кронштадта в Портсмут, откуда на винтовой шхуне «Восток» (командир - лейтенант В. А. Римский-Корсаков) перешёл через Атлантический, Индийский, Тихий океаны к берегам Японии.
В 1853-1854 годах продолжал службу на Дальнем Востоке. В составе экипажа шхуны «Восток» участвовал в описи западного побережья Сахалина, обследовании Татарского пролива и Амурского лимана. В 1854 году экипаж фрегата «Паллада» назвал именем И. И. Зарубина мыс в южной оконечности полуострова залива Посьета в Японском море. В 1863 году экспедицией подполковника В. М. Бабкина мыс был переименован и стал называться мысом Слычкова, по фамилии лейтенанта П. А. Слычкова. В 1888 году экипаж корвета «Витязь» закрепил имя И. И. Зарубина за полуостровом в заливе Посьета.
В 1854 году Зарубин был произведён в поручики и сухопутным путём через Сибирь вернулся в Кронштадт, где 7 февраля 1855 года был переведён в корпус инженеров-механиков флота и 30 ноября того же года повышен в чине до штабс-капитана.
В 1856 году был командирован в Костромскую губернию на заводы С. И. Мальцова, где наблюдал за постройкой и принимал четыре паровые машины по 200 л.с. для кораблей Каспийской флотилии. С 1856 по 1858 год исполнял обязанности старшего инженера-механика линейного корабля «Выборг». В 1857 году был награждён орденом Святого Станислава 3 степени. С 18 февраля 1858 года состоял при Гвардейском экипаже. До 1861 года служил инженер-механиком на императорской яхте «Александрия», совершал плавания по Финскому заливу, Ладожскому озеру и реке Свирь. В 1859 году был награждён орденом Святой Анны 3 степени, а 5 декабря 1860 года - произведён в капитаны со старшинством с 30 ноября.
16 мая 1861 года И. И. Зарубин был назначен помощником начальника Адмиралтейских Ижорских заводов по технической части, а 4 марта 1863 года - исправляющим должность начальника заводов. Под руководством Зарубина на заводах продолжилась постройка новых мастерских для изготовления брони и железа, начатая прежним начальником К. И. Швабе. Деятельность заводов в это время заключалась в постройке небольших пароходов и барж, изготовлении механизмов до 400 л.с., котлов, броневых плит. 1 января 1865 года Зарубин был произведён в подполковники с утверждением в должности. В том же году командирован в Англию и Францию для осмотра железо-прокатных заводов, затем в Швецию для осмотра Мотальского завода и изучения иностранного опыта железного кораблестроения. В 1867 году посетил всемирную выставку в Париже, где знакомился с новейшими изобретениями в области механики. 20 апреля 1869 года произведён в полковники.
Императорская паровая колесная яхта «Ливадия»
В 1871 году был командирован в Англию для ознакомления с приёмами обкатки брони, а также для проверки работы главных машин и ходовых испытаний колёсной императорской яхты «Ливадия». С 6 ноября 1872 года исполнял обязанности флагманского механика эскадры Балтийского флота. В 1873-1878 годах участвовал в плаваниях в Финском заливе и Балтийском море на пароходофрегате «Олаф», пароходе «Днепр», линейном корабле «Пётр Великий», броненосном батарейном фрегате «Князь Пожарский» и плавучей батарее «Не тронь меня». 1 января 1878 года был пожалован в генерал-майоры. В 1889 году был командирован в Англию для наблюдения за изготовлением механизмов для ремонта императорской яхты «Ливадия».
24 июня 1880 года был назначен флагманским инженер-механиком при штабе главного начальника морских сил на Тихом океане генерал-лейтенанта С. С. Лисовского. В 1880-1881 годах на пароходе Русского общества пароходства и торговли «Одесса» перешёл из Кронштадта в Александрию, и оттуда на крейсере «Европа» прибыл во Владивосток. В 1881 году Зарубин Иван Иванович посетил Японию. 10 августа 1881 года, один из первых европейцев и первым в России был пожалован Его Величеством Микадо орденом Восходящего Солнца. В 1882-1883 годах участвовал в морских походах на клипере «Пластун» и фрегате «Минин» в Тихом океане, затем морским путём вернулся в Кронштадт.
В 1883 году назначен флагманским механиком в штаб практической эскадры Балтийского флота. В 1884 году прикомандирован к конторе Санкт-Петербургского порта на время работы наблюдающим в Обуховском сталелитейном заводе. 1 января 1886 года назначен исправляющим должность главного инспектора механической части флота, в 1888 году - утверждён в должности и награждён орденом Святого Станислава 1 степени.
5 сентября 1890 года произведён в генерал-лейтенанты корпуса инженеров-механиков с увольнением со службы.
Умер 25 января 1902 года. Похоронен на Новодевичьем кладбище в Санкт-Петербурге.