Рудольф был сыном пфальцского курфюрста и верхнебаварского герцога Людвига II и его третьей жены Матильды, дочери германского короля Рудольфа I. После смерти отца в 1294 году он унаследовал его титулы.
В конфликте из-за германской короны Рудольф поддержал тестя Адольфа Нассауского против дяди Альбрехта Австрийского, и в битве при Гёльхайме 1298 года оказался на стороне проигравших. Альбрехт стал новым королём Германии.
14 октября 1300 года архиепископ Кёльнский, архиепископ Трирский, архиепископ Майнцский и пфальцграф Рудольф встретились на берегу Рейна в Хаймбахе и заключили союз, направленный против «этого господина Альбрехта, называющего себя королём». Альбрехт тут же бросился в контратаку, и захватил Курпфальц. Рудольф предпочёл сдаться прежде, чем Альбрехт начал осаду его резиденции в Хайдельберге, и ему пришлось согласиться на то, что его младший брат Людвиг, воспитывавшийся в Вене станет соправителем герцогства.
В 1308 году Альбрехт был убит своим племянником Иоганном, и на новых выборах короля Рудольф вместе с другими выборщиками проголосовал за Генриха Люксембургского. В 1310 году он принял участие в путешествии Генриха в Италию, где тот договорился с папой Климентом V о сроках коронации в качестве императора Священной Римской империи, однако быстро оттуда вернулся.
У Рудольфа сложились сложные отношения с навязанным ему в качестве соправителя младшим братом, и в 1310 году братья договорились разделить герцогство: Рудольфу должен был отойти Мюнхен, а Людвигу - Ингольштадт. Однако активность Габсбургов в Нижней Баварии привела к тому, что в 1313 году братья отказались от раздела и договорились совместно противостоять экспансии Габсбургов. Тем не менее, на выборах 1314 года Рудольф проголосовал не за своего брата, а за его оппонента - Фридриха Австрийского, в результате чего в Германии оказалось сразу два избранных короля, между которыми началась гражданская война. В 1317 году Рудольф потерял Пфальц, и было решено, что он откажется от правления до тех пор, пока не разрешится конфликт между Людвигом и Фридрихом. Однако он не дожил до этого момента, умерев в 1319 году.