Родился в Тингсборо, штат Массачусетс.
По окончании Академии Пинкертон и Академии Лоуренс в Гротоне поступил в Гарвардский университет, который окончил в 1843 году. В 1846 году он получил степень бакалавра права, преподавал на юридическом факультете Джорджтаунского университета в 1879-1894 гг.
Ричардсон служил помощником министра финансов Джорджа Баутвелла, которого сменил на этом посту в 1873 году, будучи назначен президентом Улиссом Грантом, где пробыл один год - с 1873 по 1874.
Экономика США после Гражданской войны росла настолько быстро, что коммерческие банки занервничали и стали отзывать свои кредиты. В результате, летом 1873 года денежная масса резко сократилась, вызвав панику 1873 года. Ричардсон в ответ напечатал 26 миллионов долларов, чтобы удовлетворить растущий спрос. Законность его действий была сомнительной, но Конгресс не вмешивался и кризис был ослаблен. Такие циклы и сопутствующая им паника продолжались в течение следующих тридцати лет, и стали основанием для создания Федеральной резервной системы в 1913 году.
В свои последние месяцы пребывания в должности министра финансов, Ричардсон оказался втянутым в «Инцидент Санборна».
После ухода из казначейства в 1874 году, Ричардсон был назначен Грантом, судьёй и председателем Верховного суда претензий, где служил до самой своей смерти, последовавшей в 1896 году в Вашингтоне, округ Колумбия.