Родился 16 (28) февраля 1878 года в Сууре-Яани (ныне Вильяндиского уезда Эстонии).
Окончил Петербургскую консерваторию по классу органа Л. Ф. Гомилиуса (1898) и по классу композиции Н. А. Римского-Корсакова (1900).
После окончания консерватории переехал в Астрахань, где возглавил местное отделение Русского музыкального общества.
В 1920 году Капп был приглашен в качестве дирижера оперного театра «Эстония» и вместе с семьёй переехал в Таллин. В 1920-1924 годах - дирижёр театра «Эстония», с 1920 года вёл педагогическую работу (в 1925-1943 - профессор Таллинской консерватории). Автор кантаты «К солнцу», 5 симфоний, концертов, инструментальных ансамблей, произведений для органа, хоров, песен. Среди его учеников Г. Г. Эрнесакс, Э. Аав.
Умер 14 января 1952 года там же, Сууре-Яани. Похоронен на местном кладбище.
Сын и ученик - Э. А. Капп (1908-1996) - эстонский композитор.