Во время своей активной игровой карьеры Руди Гутендорф сыграл около 90 матчей, в основном, на позиции правого нападающего за клуб из родного города, «Кобленц». После окончания карьеры в 1953 году он прошёл тренерский курс Зеппа Хербергера и в 1954 году он получил лицензию тренера № 330.
В списке его тренерской карьеры имеется 54 места работы. Они включают в себя деятельность в качестве тренера в Австралии, Боливии, Тринидаде и Тобаго, Китае, Фиджи, Тонга, Танзании, Непале и Руанде. Своего самого большого успеха в качестве тренера он достиг с Чили, с которой выиграл свою группу 3 в отборочном турнире на чемпионат мира по футболу 1974. В межконтинентальных плей-офф Чили досталась сборная СССР по футболу. Однако, за две недели до первого матча в Москве друг Гутендорфа, Сальвадор Альенде устроил военный переворот 1973 года в Чили, из-за этого СССР отказался приехать на ответный матч в Чили, за что получил техническое поражение. В Бундеслиге Гутендорф тренировал «Дуйсбург», «Штутгарт», «Шальке 04», «Киккерс Оффенбах», «Теннис-Боруссию», «Гамбург» и «Мюнхен 1860» (тогда вторая лига). В целом, он провёл в Бундеслиге 227 матчей на тренерской скамье (82 победы, 60 ничьих, 85 поражений, 327:374 голов).
Гутендорф был первым иностранным тренером, выигравшим чемпионат Японии по футболу в 1984 году с «Ёмиури», теперь - «Токио Верди».
Гутендорф выступал тренером символической команды «Лотто-Элф», состоявшей из известных игроков, которые играли в целях благотворительности, среди них были Вольфганг Оверат, Хорст Эккель и Штефан Кунц.
Последним местом работы Гутендорфа стала сборная Самоа по футболу, которую он тренировал в 2003 году.
Благодаря оборонительной тактике, с которой он тренеровал «Дуйсбург» в сезоне 1963/64 Бундеслиги, он получил прозвище «Ригель-Руди». Его другое прозвища, «бабушка», он получил в первые дни от игроков «Кобленца», его так называют и по сей день в кругу давних знакомых.
В начале сезона 2012/13 Гутендорф в возрасте 85 лет получил предложение поработать в «Дуйсбурге» в качестве тренера и менеджера, так как после двух игр команда не имела ни одного очка и находилась в нижней части турнирной таблицы. Предложение было отвергнуто.
Руди Гутендорф женат, его последний сын родился, когда Гутендорфу было 62 года, он живёт со своей семьёй в Нойштадте (Вид).
Кроме того, Руди Гутендорф время от времени пишет небольшие статьи для воскресной газеты Кобленца.