Сын выборгского коменданта Карла Еремеевича Жерве, Константин Карлович родился 2 февраля 1803 года.
Первоначальное образование он получил в Выборгской гимназии, а затем осенью 1818 года поступил в Институт корпуса инженеров путей сообщения, где пробыл, впрочем, недолго и, вследствие расточительного образа жизни воспитанников того времени и отсутствия лишних средств, решил поступить в Главное инженерное училище, тогда только что основанное. Здесь пробыл он два года чрезвычайно интересного периода жизни училища, пользовавшегося исключительным вниманием великого князя Николая Павловича, а также императора Александра I, что дало счастливую возможность Жерве стать лично известным вступившему вскоре на престол императору Николаю I.
В декабре 1821 г. Жерве был произведён в прапорщики сначала Петербургской, а затем Свеаборгской инженерной команды, где прослужил до 1826 г., когда был переведён в строившуюся тогда крепость Бобруйск. Из Бобруйска он несколько раз ездил в командировки на разные строительные работы и в 1839 г. был назначен исправлять должность помощника командира Херсонского инженерного округа. В этой должности ему пришлось много поработать по приведению в порядок сильно запутанных дел по округу и по постройке Севастопольских укреплений. В начале 1842 г. он тяжко заболел, вследствие чего вышел в отставку.
По восстановлении здоровья Жерве в начале 1844 г. снова поступил на службу прежним чином капитана, с назначением во второй округ инженерного корпуса, в Москву.
В следующем году он был вызван в Петербург для постройки капсюльного завода. Хотя эта постройка должна была производиться по высочайше утверждённому проекту, тем не менее будущий строитель усмотрел в нём много неправильностей и упущений, которые явились поводом его пререканий с департаментом военных поселений и вызвали значительную передержку, обратившую на себя внимание военного министра князя Чернышёва. По его приказанию, состоявший при нём полковник Глинка-Маврин произвёл расследование, выяснившее правильность действий капитана Жерве.
В 1846 г. он был назначен смотрителем здания Главного штаба и Императорской военной академии. То было первым назначением на эту должность инженерного офицера с большими правами по своей должности по административной, технической, экономической и хозяйственной частям. Такое служебное положение, энергичный образ действий Жерве и выраженное ему внимание императора Николая I при первом же посещении Главного штаба явились причиной благосклонного к нему отношения со стороны князя Чернышёва, который вскоре приблизил его к себе. Частые посещения князя и его семьи Жерве дали ему возможность близко узнать военного министра и в своих «Воспоминаниях» ярко очертить в лице князя А. И. Чернышёва одну из самых крупных фигур царствования императора Николая I.
В 1847 г. за отличие по службе Жерве был произведён в подполковники и вскоре принял в свое заведование дом военного министра, оставаясь в прежних должностях.
Когда был учреждён Хозяйственный комитет Главного штаба, служебное положение Жерве, стало гораздо более зависимым, чем было прежде, и это заставило его отказаться от должности, в которой прослужил 20 лет, пользуясь расположением и преемников князя Чернышёва.
Весной 1866 г. он был произведён в генерал-майоры, а в следующем году был зачислен в запас инженерных войск, имея в виду поступить на частную службу. Он был принят в общество постройки Киево-Балтской железной дороги, о сооружении которой также находятся многие любопытные сведения в его «Воспоминаниях».
Возвратясь в Санкт-Петербург и пробыв некоторое время в запасе, в 1871 г. он получил должность презуса (председателя) временной комиссии военного суда при Санкт-петербургском комендантском управлении и в 1873 г. отпраздновал 50-летний юбилей своей службы в офицерских чинах. Прослужив ещё некоторое время, Жерве в 1877 г. совсем оставил службу и переехал на жительство в Житомир, где 20 июня скончался в семье своей дочери. Прах его был привезён в Санкт-Петербург и погребен на кладбище Новодевичьего монастыря.