Карл Вёрман родился в Гамбурге в семье богатого судовладельца. Как старший сын, он был прямым наследником отца и должен был унаследовать его бизнес. Но он не проявлял никакого интереса к делам, его увлечением было искусство, и владельцем компании стал его младший брат - Адольф.
В возрасте 16 лет Карл стал студентом юридического факультета Гейдельбергского университета, который закончил в 1868 году с получением степени доктора права. Во время учёбы Карл Вёрман совершил путешествия по ряду стран Европы и Северной Америки и это укрепило его в решении заниматься искусством. Во время своей адвокатской практики Карл Вёрман продолжил учёбу в Гейдельгергском университете по специальности история искусства и археология и в 1871 году получил вторую учёную степень доктора искусствоведения по тематике античного искусства.
В 1871 год - 1872 годах он вместе с искусствоведом Альфредом Вольтманом совершил путешествие по Франции, Италии и Малой Азии. Итогом этого путешествия стал их совместный труд «История живописи». В 1873 году он получил звание профессора Дюссельдорфской академии художеств.
В 1882 году Карл Вёрман был назначен директором Дрезденской картинной галереи. Во время работы дирекатором музея Карл Вёрман подготовил и издал в 1887 году первый научный каталог Дрезденской галереи, начал активно пополнять коллекцию музея произведениями современных тогда художников, в частности Клода Моне и Карла Шпицвега. Впоследствии, Дрезденская галерея была разделена на два музея: Галерею старых мастеров и Галерею новых мастеров. Он также начал писать многотомный труд «История искусства всех времён и народов», который он начал с описания известных произведений первобытных людей, найденных при раскопках в местах их поселений.
После своего ухода с поста директора музея и до самой смерти Карл Вёрман продолжал писать книги по истории искусства. Скончался он 4 февраля 1933 года. Был кремирован и похоронен на кладбище в дрезденском районе Толкевиц.