Хилари Герберт родился в Лоуренсе, Южная Каролина. В 1846 вместе с семьёй переехал в Гринвилл, Алабама. Получил образование в Университете Алабамы и Университете Виргинии, где был членом братства Delta Kappa Epsilon. После окончания учёбы и вплоть до начала Гражданской войны Герберт занимался адвокатской практикой в Гринвилле.
Вступил в Армию Конфедеративных Штатов Америки, где дослужился до звания полковника, командовал 8-м пехотным полком Алабамы. 6 мая 1864 года ранен в Битве в Глуши.
После войны вернулся к адвокатской практике в Гринвилле. В 1877 году занял кресло в Палате представителей США, представляя 2-й избирательный округ Алабамы в течение восьми сроков. Возглавлял там комитет по военно-морским силам. Также выступал за сокращение финансирования Геологической службы США.
7 марта 1893 года президент Гровер Кливленд назначил Герберта министром ВМС США. На этом посту активно занимался усилением флота, несмотря на Панику 1893 года. Благодаря ему к началу Испано-американской войны флот США был довольно грозной силой. Ушёл в отставку 4 марта 1897 года, после чего до самой смерти занимался адвокатской практикой в Вашингтоне.