Родился 20 июля 1836 года в семье священника Владимирской епархии.
В 1852 году окончил Владимирское духовное училище. В 1857 году окончил Владимирскую духовную семинарию, в 1861 году Киевскую духовную академию.
25 октября 1861 года стал преподавателем Черниговской духовной семинарии. В следующим году стал преподавателем Киевской духовной семинарии.
30 июня 1870 года был удостоен степени магистра богословия.
19 сентября 1871 года рукоположен во священника к церкви свв. Петра и Павла в Киеве и определён законоучителем Коллегии Павла Галагана и Киевской 1-й гимназии.
15 марта 1877 года возведен в сан протоиерея.
С 1882 года - благочинный Киево-Подольской церкви.
У него было трое сыновей, в том числе богослов Василий Экземплярский. Его супруга скончалась в 1876 году.
27 июля 1885 года был пострижен в монашество, а 28 июля - возведен в сан архимандрита.
3 ноября 1885 года в Софийском соборе Киева хиротонисан во епископа Чигиринского, викария Киевской епархии.
С 3 июня 1890 года - епископ Тамбовский и Шацкий.
Будучи Тамбовским епископом, преосвященный Иероним организовал целую сеть пунктов помощи, сеть столовых для бедных. Во время эпидемии холеры устроил около 700 аптек.
С 30 апреля 1894 года - епископ Литовский и Виленский.
6 мая 1895 года был возведён в сан архиепископа.
В Вильне стараниями владыки была открыта своя типография. Также немало преосвященный вложил в строительство церкви-школы во имя св. Александра Невского.
С 27 февраля 1898 года - архиепископ Холмский и Варшавский.
С 16 июня 1905 года стал архиепископом Варшавским и Привислинским.
В Варшаве на православном кладбище построил в 1902-1905 годах за свой счёт здание Церкви св. Иоанна Лествичника. Храм был построен по проекту архитектора Владимира Николаевича Покровского для увековечения покойного сына епископа, Ивана Ильича Экземплярского († 8 августа 1902 года в Пятигорске). Храм был освящен 15 октября 1905 года и тогда был в нём похоронен сын епископа.
Архиепископ Иероним скончался через две недели и был похоронен подле сына. В его погребении участвовали Евлогий (Георгиевский) и митрополит Варшавский Дионисий.