Получил блестящее образование. В 1833 году направлен на дипломатическую службу в Мюнхен, под начальство его дяди Григория Ивановича Гагарина, служившего в Мюнхене посланником. В Мюнхене познакомился с Ф. И. Тютчевым и со знаменитым философом Фридрихом Шеллингом.
В январе 1836 года получил звание камер-юнкера и был переведён в Петербург в канцелярию министерства иностранных дел. Во время поездок в Москву подружился с П. Я. Чаадаевым (впоследствии Гагарин опубликовал в Париже работы Чаадаева «Философские письма» и «Апология сумасшедшего»).
В Петербурге делил одну квартиру с молодым князем П. В. Долгоруковым, известным своими гомосексуальными похождениями. Долгое время князя Гагарина подозревали в авторстве анонимного пасквиля, который послужил причиной вызова на дуэль Пушкиным Дантеса в ноябре 1836 года, однако в конце XX века эти обвинения были сняты.
13 апреля 1838 года И. С. Гагарин был назначен младшим секретарем в Париж. Помимо дипломатической службы много занимался научной работой в области истории и славяноведения. В Париже Гагарин стал завсегдатаем салона своей дальней родственницы, перешедшей в католическую церковь Софьи Свечиной, который посещало большое количество выдающихся личностей. Собственные духовные поиски, изучение церковной истории и общение с образованными католиками привело князя Гагарина к убеждённости в истинности католичества. 19 апреля 1842 года он официально присоединился к Католической церкви, а 12 августа 1843 года вступил в новициат ордена иезуитов, двумя годами позже принёс обеты в Обществе Иисуса, приняв монашеское имя Ксаверий.
После вступления в орден он был рукоположен в священники, изучал богословие, преподавал церковную историю в нескольких иезуитских колледжах. В середине 50-х годов XIX века стал активным членов парижского кружка русских католиков, куда кроме него входили И. М. Мартынов, Е. П. Балабин, С. С. Джунковский и другие.
В 1856 году Гагарин опубликовал своё первое сочинение - фр. La Russie sera-t-elle catholique? («Россия, станет ли она католической?»), вскоре переведённое на русский язык. Работа была хорошо принята французскими католическими кругами и вызвала резкую критику со стороны православных деятелей. После этого доступ в Россию оказался для Гагарина закрыт, он был лишён всех сословных и имущественных прав.
В 1855 году создал в Париже Кирилло-Мефодиевское общество. В 1857-1858 годах вышел в свет шеститомный труд «Etudes de theologie, de philosophic et d’histoire» (Теологические, философские и исторические исследования). Редакцией заведовал сам Гагарин, а одним из сотрудников русского раздела был И. М. Мартынов. В «Etudes» был опубликован целый ряд статей И. С. Гагарина богословского и исторического содержания о России.
В 1859 году отправился в Иерусалим, первоначально намереваясь остаться жить на Ближнем Востоке, но проблемы со здоровьем вынудили его вернуться во Францию в 1865 году. Остаток жизни занимался преподавательской, литературной и научной деятельностью. И. С. Гагарин умер в Париже 20 июля 1882 года, отпевание происходило в церкви св. Магдалины, похоронен на кладбище Монпарнас. Личная библиотека Гагарина стала основой Славянского музея, переименованного впоследствии в Славянскую библиотеку. Сейчас в ней хранится около 50 тысяч книг, большей частью посвященных России.
Под редакцией Андрея Стерпина sj вышел русский перевод книги Ивана Гагарина «Примат апостола Петра и богослужебные книги Русской Церкви» (1863 год)