Родился в Вене в семье учителя. Уроки фортепиано начал брать в 7 лет. Окончил Венскую академию музыки (1947), ученик Бруно Зайдльхофера и Йозефа Маркса. В 1946 году (в возрасте 16 лет) завоевал первую премию Международного конкурса в Женеве, вызвав скандал в жюри (входившая в него Эйлин Джойс обвинила своих коллег в том, что они подкуплены покровителями Гульды). После этой конкурсной победы сразу начал концертировать по всему миру. В 1950 г. дал около 70 концертов в разных странах и дебютировал в Карнеги-холле. В 1953 г. исполнил в Вене все 32 фортепианные сонаты Людвига ван Бетховена и записал их для Австрийского радио (пятью годами позже записал заново для лейбла Decca Records); в том же году провёл цикл концертов с Паулем Хиндемитом как дирижёром. Группу из трёх блестящих австрийских пианистов одного поколения - Гульды, Йорга Демуса и Пауля Бадуры-Шкоды - критики называли «венской тройкой».
Хотя в наибольшей степени Гульда прославился своим исполнением Бетховена и Моцарта, в его репертуаре значительно представлены произведения Иоганна Себастьяна Баха, Шуберта, Шопена, Шумана, Дебюсси и Равеля.
Клавирную музыку эпохи барокко (особенно И.С.Баха) охотно исполнял на клавикорде, который считал более выразительным, чем клавесин (пользовался частотным и амплитудным вибрато). Из академических композиций Гульды выделяется концерт для виолончели с оркестром, написанный в стилистике неоклассицизма (в нём наиболее известна ч.IV, менуэт).
С другой стороны, Гульда многие годы интересовался джазом и рок-музыкой. Уже в 1955 г. он открыл в Вене джаз-клуб «Fatty´s Saloon». Сочинённая им Прелюдия и фуга в джазовой манере записана Китом Эмерсоном (альбом Return of the Manticore), Гульде также принадлежат Вариации на тему The Doors «Light My Fire» (нем. Variationen über Light My Fire; 1970), два Концерта для фортепиано и джаз-банда и многие другие произведения, сочетающие несколько традиций. В 1972 г. Гульда гастролировал по Южной Америке вместе с группой «Weather Report», в 1982 г. записал совместный альбом дуэтов-импровизаций «Встреча» (англ. The Meeting) с джазовым пианистом Чиком Кориа. Кроме того, начиная с 1980-х гг., Гульда часто исполнял классический репертуар (особенно Моцарта и Баха) в поп-манере, с электронным усилением.
Гульда находился в неприязненных отношениях с Венской академией музыки, особенно после того, как в 1969 г. он был награждён «Бетховенским кольцом» и заявил на торжественной церемонии его вручения, что такое консервативное учреждение не имеет права использовать имя Бетховена, величайшего революционера и новатора в истории музыки, а пять дней спустя вернул награду. В то же время он проводил мастер-классы - в частности, в Зальцбурге, где у него занимались, например, Марта Аргерих и Клаудио Аббадо (посвятившие памяти Гульды свой совместный концерт 16 февраля 2000 г.).
В 1999 году Гульда спровоцировал слухи о собственной смерти. В действительности он умер от инфаркта годом позже, причём это произошло в день рождения Моцарта - о своей мечте умереть именно в этот день Гульда неоднократно заявлял (кроме того, в этот же день в 1956 г. родился его старший сын).
Двое сыновей Гульды, Пауль и Рико - пианисты.