Эзра Сэвидж родился в городе Коннерсвилл, Индиана, в семье Бенджамина Уоррена Сэвиджа и Анны Перен. Вскоре после его рождения семья переехала в Айову. Сэвидж окончил школу в Давенпорте, а затем Гриннеллский колледж.
В начале Гражданской войны Сэвидж был зачислен солдатом и разведчиком в армию США, однако вскоре был уволен по инвалидности. После войны он вернулся в Айову, изучил право, и в 1875 году был принят в коллегию адвокатов. В 1879 году Сэвидж переехал в Небраску и поселился в округе Кастер.
В 1883 году Сэвидж был избран в Палату представителей Небраски, где служил два срока подряд. Затем он переехал в Омаху, в 1887 году стал первым мэром города Саут-Омаха (ныне район Омахи), а в 1888 году - членом городского совета. В 1900 году Сэвидж был избран вице-губернатором штата, а 1 мая 1901 года он стал губернатором Небраски, после того как действующий губернатор Чарльз Дитрих подал в отставку, чтобы заполнить освободившееся место в Сенате США.
Во время пребывания в должности Сэвидж помиловал бывшего казначея штата Бартли, который отбывал тюремный срок за растрату. Это его решение вызвало политический конфликт, и Сэвидж был вынужден отказаться от участия в губернаторских выборах 1902 года.
Вскоре после ухода с поста губернатора Сэвидж переехал в Такому, где работал в лесной промышленности. Он умер 8 января 1920 года и был похоронен на городском кладбище.
Сэвидж был женат три раза: в 1866 году он женился на Анне Чейз Рич (умерла в 1883 году), в 1896 году - на Эльвире Хесс (умерла в 1899 году), в 1899 году - на Джулии Маккалло. У него было шесть детей, пять - от Анны Рич, и один - от Эльвиры Хесс.