Уилсон родился в городке Тайлер, штат Техас. Точная дата его рождения неизвестна, но на могиле Уилсона в качестве даты указано 3 апреля 1886 года. Уилсон играл в афроамериканских театрах Чикаго и Нью-Йорка с 1908 по 1930-е, в 1920-е также играл на ударных в музыкальном ансамбле. Около 1908 года он получил прозвище Дули - в честь ирландской песни «Мистер Дули», исполнение которой было фирменным номером Уилсона в те годы.
Уилсон попал на Бродвей, где был замечен в роли Маленького Джо в мюзикле «Хижина на небесах» (сезон 1940-1941). Он был приглашён студией «Warner Brothers» на роль тапёра Сэма в ставший классическим фильм «Касабланка» (1942). Эта роль принесла Уилсону широкую известность и стала его визитной карточкой. Всего он сыграл примерно в двух десятках фильмов, а также продолжал участвовать в бродвейских театральных постановках.