Жозеф Руло родился в городке Матане (низовье Святого Лаврентия, Квебек). Брал уроки пения у Эдуара Вули и Альбера Корнелье, затем с 1949 по 1952 год занимался у Мартиаля Сингера в Квебекской консерватории в Монреале. В 1949 году завоевал Приз Аршамбо, а в 1950-51 годах принял участие в конкурсе CBC «Звезды вокала Канады», где вышел в полуфинал. Получив стипендию от правительства Квебека, занимался с 1952 по 1954 год в Милане у Марио Басиолы и Антонио Нардуччи.
С 1950 года Руло выступает с небольшими партиями в оперных театрах Квебека. В 1955 году он поет Коллена в новоорлеанской постановке «Богемы», а в 1956 году исполняет партию короля Филиппа в «Доне Карлосе» - спектакле Оперной гильдии Квебека, транслировавшемся по радио и телевидению. За следующие 20 лет Руло исполняет около сорока главных басовых партий с ведущими оперными труппами, в числе которых Ковент-Гарден и Парижская национальная опера, и гастролирует в Австралии, Южной Америке, ЮАР, Израиле и СССР (трижды за вторую половину 1960-х годов), где его работы в «Доне Карлосе», «Фаусте» и «Борисе Годунове» заслужили особо положительные отзывы критиков. Другие роли Руло, привлекшие внимание критиков, включают заглавные партии в концертных постановках «Моисея в Египте» Россини и «Мефистофеля» Бойто (Театр Елисейских Полей), Иуду в «Марии Магдалине» Массне, Великого инквизитора в «Доне Карлосе» (Метрополитен-опера).
В Квебеке в конце 1970-х годов Руло возглавлял лобби оперных певцов, усилия которого привели к открытию в 1980 году Монреальской оперы. С этого же года он преподает в Университете Квебека в Монреале, где ведет курс оперного пения. В 1982 году Руло снялся в фильме-мюзикле «Страна Зома» на музыку Жака Этю, а в 1990 году выпустил альбом песен Феликса Леклера, которые с тех пор часто исполняет в концертах.
В 1967 году Жозеф Руло был удостоен Приза Каликса Лавалле - одной из самых престижных музыкальных наград Квебека. В 1990 году он стал лауреатом Приза Дениз Пеллетье. Будучи произведен в 1977 году в офицеры Ордена Канады, в 2010 году Руло был повышен в звании до компаньона - высшей степени ордена.