Эдмунд Рэндольф родился во влиятельной семье Рэндольф. Образование получил в колледже Вильгельма и Марии. После окончания колледжа Рэндольф начал работать адвокатом вместе со своим отцом, Джоном Рэндольфом и дядей Пейтоном Рэндольфом. В 1775 году, с началом войны за независимость, отец Эдмунда остался лоялистом и вернулся в Британию. Сам же Рэндольф остался в Америке, где присоединился к Континентальной армии в качестве адъютанта генерала Джорджа Вашингтона.
После смерти дяди в октябре 1775 года Рэндольф вернулся в Виргинию, где был избран представителем на Виргинскую конвенцию. Далее он будет работать мэром Уилльямсбурга, а затем первым генеральным прокурором США. 29 августа 1776 года Рэндольф женился на Элизабет Николас, которая родила ему шесть детей.
В 1779 году Рэндольф был выбран в качестве делегата на Континентальный конгресс, которым он прослужил до 1782 года. В этот период он также занимался частной юридической практикой.
Континентальный конгрессВ следующем году, как делегат Виргинии на Филадельфийском конвенте, Рэндольф внёс «план Виргинии», как первоначальный набросок нового национального правительства. Он выступал против ввоза рабов и в пользу сильного центрального правительства.
Также, Рэндольф был членом «Комитета тонкости», перед которым была поставлена задача преобразовать 15 резолюций «Плана Виргинии» в проект Конституции. Но, Эдмунд отказался подписать итоговый документ, полагая, что в нём недостаточно сдержек и противовесов. В 1787 году он опубликовал отчёт о своих возражениях. Тем не менее, на Виргинском ратификационном конгрессе в 1788 году Рэндольф проголосовал за ратификацию Конституции.
Кабинет ВашингтонаВ сентябре 1789 года Рэндольф стал первым в истории США генеральным прокурором. В 1793 году он сменил Томаса Джефферсона на посту Государственного секретаря США. В 1794 году Рэндольф исполнил номинальную роль в подписании договора Джея, который до этого разрабатывал Александр Гамильтон. Ближе к концу срока полномочий он завершил договор Пинкни.