Родился 21 декабря 1806 года, происходил из дворян Олонецкой губернии. Образование получил во 2-м кадетском корпусе, откуда выпущен 16 мая 1824 года прапорщиком в батарейную № 1 роту 23-й артиллерийской бригады.
В декабре 1830 года произведён в подпоручики и в 1831 году участвовал в кампании против поляков; в 1834 году назначен бригадным квартирмейстером, а в 1835 году, уже в чине поручика, переведён во 2-ю полевую артиллерийскую бригаду.
В 1837 году Карлгоф поступил в Николаевскую академию Генеральнаго штаба; в 1839 году произведён в штабс-капитаны. По окончании курса, в январе 1840 года, за отличные успехи в науках, произведён в капитаны с переводом в Генеральный штаб и назначен на службу в Отдельный Гренадерский корпус, где и состоял более шести лет, из которых пять - в должности старшего адъютанта при корпусном штабе. В 1844 году, за отличие, произведён в подполковники.
В 1845 году Карлгоф был назначен в распоряжение начальника Черноморской береговой линии генерал-адъютанта Будберга. По прибытии в Керчь, поступил в десантный отряд, с которым участвовал в сражении против горцев и при сожжении близ Мамай-Мыса, на берегу Чёрного моря, турецкого контрабандного судна, за что награждён орденом св. Владимира 4-й степени с бантом. В 1848 году произведён в полковники н принимал участис в экспедиции против мутагизов на реке Псебепсе, следуя от Новороссийска до Форта Раевского.
В 1850 году назначен заведывающим штабом Черноморской береговой линии, в каковой должности и состоял до 1854 года, участвуя почти во всех предпринятых за это время против горцев экспедициях, в том числе в землю натухайцев и шапсугов, и за боевое отличие 30 ноября 1854 года был произведён генерал-майоры.
12 октября 1854 года назначен обер-квартирмейстером Отдельного Кавказского корпуса, с которым и оперировал в течение всей Восточной войны, причём в октябре 1855 года находился в лагере, расположенном под крепостью Карсом, для доклада главнокомандующему корпусом генерал-адъютанту Муравьёву, важнейших донесений, а потом состоял в Гурийском отряде.
1 января 1858 года назначен на должность генерал-квартирмейстера Кавказской армии.
23 апреля 1861 года, за отличие по службе, произведён в генерал-лейтенанты, с назначением состоять в распоряжении военного мннистра и генерал-квартирмейстера Главного штаба Его Императорского Величества и 10 ноября того же года назначен начальником Главного управления иррегулярных войск. В должности начальника Главного управления Карлгоф состоял более десяти лет, положив немало труда для преобразования быта и военной организации всех российских казачьих войск в эпоху реформ всех вооружённых сил Российской империи.
17 апреля 1870 года произведён в генералы от инфантерии, а 1 января 1871 года назначен членом Военного совета.
Шестнадцатилетняя служба Карлгофа на Кавказе, в связи с боевыми трудами, тяжело отразились на его здоровье. Оттуда он вынес лихорадку, которая в течение всех последующих 17 лет жизни не уступала никаким медицинским средствам и произвела полное истощение всего организма, что послужило причиной страшных предсмертных страданий, во время семидневной агонии. Скончался он в Санкт-Петербурге 7 декабря (по другим данным - 6 декабря) 1877 года, из спиков исключён 30 декабря, похоронен на кладбище Воскресенского Новодевичьего монастыря.