Родился 31 марта 1802 года в Штральзунде. Был шестым ребёнком в семье портного Георга Фридриха Рехлина и его жены Катарины Софии, урожденной Грек.
На его воспитание повлияли взгляды немецкого философа Вильгельма Гумбольдта. Образование Карл получил между 1826 и 1828 годами в Королевской академии искусств в Берлине. Его современники считали, что Рехлин может стать учеником Франца Крюгера.
В 1830 году он совместно с Людвигом Эльшольтцем написал картину «Прусская армия». От имени прусской королевской семьи для российского царского двора он создал несколько картин с сюжетами из армейской военной и повседневной жизни. Один из его картин - «Открытие Александровской колонны в Петербурге», написана в 1834 году; Рехлин был очевидцем этого события. В 1835 году он написал монументальное полотно «Большой парад в Калише». Картина находится сегодня во дворце Шарлоттенбург.
Умер 22 декабря 1875 года в Темпельхофе, был похоронен на старом кладбище деревенской церкви.
«Атака лейб-казаков под Лейпцигом 4 октября 1813 года»
«Смотр войск наследным принцем Фридрихом Вильгельмом Прусским в Бреслау»
С помощью парижских коллег музейным работникам Новочеркасского музея истории донского казачества удалось точно определить имя автора живописной работы «Атака лейб-казаков под Лейпцигом». Эта картина стала официальным символом IV Всемирного конгресса казаков в 2012 году.
СемьяВ 1833 году Карл женился на дочери богатого фермера Агнес Луизе Августе Штекебрандт (ум. 1862), от которой имел семерых детей. Семья жила в деревне Темпельхоф.
Второй его сын Карл Вильгельм Людвиг Бернхардт Рехлин (1836-1882) также стал художником.