Дворянин Орловской губернии из рода Жемчужниковых. Учился в Первом кадетском корпусе, после чего 25 февраля (9 марта) 1806 года был произведён в подпоручики артиллерии, при этом был назначен адъютантом к графу А. А. Аракчееву, но вскоре, по рапорту, был назначен на Кавказ в седьмой артиллерийский полк, переименованный в 21 артиллерийскую бригаду.
Военная карьераВ 1810 году Жемчужников принимал участие в двух военных операциях: против закубанских народов и против кабардинцев. Был награжден орденом св. Владимира 4 степени с бантом. В том же году он перешёл служить службу в Первый кадетский корпус, а через два года перешёл в 11-ю артиллерийскую бригаду, которая позже была переименована в 24-ю.
М. Н. Жемчужников воевал в Отечественной войне 1812 года, где участвовал в сражениях на территории России и за границей. 1 (13) марта 1814 года, в заграничном походе российских войск при отступлении от города Реймса, Михаил Николаевич был взят в плен и пробыл там до 30 мая (11 июня) 1814 года, когда был заключён мир. В 1815 году он принял участие в походах в Польшу, Германию и Францию.
1 (13) марта 1820 года М. Н. Жемчужников вышел в отставку по домашним обстоятельствам. В 1827 году он поступает на государственную службу в корпус жандармов жандармским штаб-офицером в город Орёл. Активно выявляя злоупотребления местных властей он разоблачил деятельность Орловского гражданского губернатора П. А. Сонцова, губернского прокурора Андреева, а также губернского предводителя дворянства Г. Милорадовича. В результате П. А. Сонцов был разжалован и его место занял А. В. Кочубей.
В 1831 году М. Н. Жемчужников активно участвовал в военной кампании против Польши. Вступил в пределы Царства Польского вместе с главной квартирой, находясь при главнокомандующем действующей армии И. И. Дибиче-Забалканском. Участвовал в сражениях, в том числе во взятии Варшавы. За воинскую доблесть был награждён несколькими орденами. Был произведён в звание генерал-гевальдингера, занял должность генерал-полицеймейстера действующей армии.
Гражданская карьераВ 1832 году получил чин действительного статского советника и был назначен на должность Костромского гражданского губернатора. В этой должности он выполнял высочайшее поручение по расследованию и пресечению раскольнической деятельности купца Н. А. Папулина, который основал в Судиславле убежище для беглых людей, где укрывал порядка 170 человек. Через три года из-за смерти жены с формулировкой «по состоянию здоровья» он был уволен и причислен к министерству внутренних дел.
В 1835 году М. Н. Жемчужников снова занял высокий пост, став Санкт-Петербургским гражданским губернатором. Выполнял массу поручений, таких как взыскание податей и недоимок, приём рекрутов, а также по реформации системы управления государственным имуществом. Он был неоднократно отмечен государем и получал денежные и орденские награды.
Жемчужников активно занимался общественной деятельностью, с 1836 по 1840 год был членом Попечительского совета заведений общественного призрения в Санкт-Петербурге, с 1847 по 1865 год - попечителем Больницы святого Николая Чудотворца, Больницы св. Марии Магдалины и Волковской богадельни раскольников. Пожертвовал личные средства на создание церкви Николая Чудотворца в здании Больницы Николая Чудотворца. При Жемчужникове были открыты больницы в Шлиссельбурге и Ямбурге. Активно работал на пользу бедных и больных города, особенно - во время холеры в конце 1850-х годов.
30 декабря 1840 года он был произведён в тайные советники, вместе с этим ему повелено было присутствовать в Правительствующем Сенате.
Позже Жемчужников получал разнообразные государственные поручения:
- в 1842 году - произвести ревизию Восточной Сибири, но он не смог выполнить его из-за болезни;
- в 1843 году - произвести ревизию деятельности руководства города Таганрога;
- в 1844 году - инспектировать Керченский карантин, за это М. Н. Жемчужников получил орден Белого орла;
- в 1846 году Жемчужников был назначен заседать в Сенате при решении вопросов производства торгов на отдачу в откуп акцизных статей по питейным сборам.
Его деятельность была отмечена орденом Святого Александра Невского, к которому в 1854 году были добавлены алмазные знаки этого ордена.
В 1858 году Жемчужников получил чин действительного тайного советника, и в 1863 году ему были пожалованы «в вечное и потомственное владение 4600 десятин удобной и неудобной земли» в Самарской губернии.
В 1865 году он получил орден святого Владимира 1-й степени.
Михаил Николаевич Жемчужников умер 3 (15) сентября 1865 года будучи на службе.