Сын Матвея Фёдоровича Толстого (1772-1815) от его брака с Прасковьей Михайловной Голенищевой-Кутузовой (1777-1844), дочерью М. И. Кутузова. Служил по ведомству иностранных дел (1822-1838); камергер (1834); сопровождал наследника цесаревича (впоследствии Императора Александра II) за границу (1838); в должности шталмейстера (1839) и шталмейстер (1849) двора наследника цесаревича; шталмейстер Высочайшего двора (1855).
Сенатор и товарищ министра иностранных дел (с 15 апреля 1856 по 30 августа 1861); обер-гофмейстер (17 апреля 1860); член Государственного совета (1861); директор почтового департамента МВД (с 1 января 1863), затем министр почт и телеграфов (с 15 июня 1865 до своей смерти).
Именным Высочайшим указом, от 16 (28) апреля 1866 года, министр почт и телеграфов, член Государственного совета, обер-гофмейстер, Иван Матвеевич Толстой возведён, с нисходящим его потомством, в графское Российской империи достоинство.
Толстой был талантливым певцом и в 1830-х года много пел в Париже с Генриеттой Зонтаг.
СемьяБыл женат с 1844 года на Елизавете Васильевне Тулиновой (1826-1870), дочери Василия Васильевича Тулинова от брака с Марией Ивановной Дубенской, 1856 года кавалерственная дама ордена Св. Екатерины 2 степени. Покончила с собой вследствие развившейся душевной болезни. Имели детей:
- Матвей Иванович (1850-1875)
- Надежда Ивановна
- Иван Иванович (1858-1916), гофмейстер.
- Дмитрий Иванович (1860-1941), последний директор Императорского Эрмитажа.