Родился в семье бедного священника Вологодского девичьего монастыря 23 марта (3 апреля) 1776 года.
В 1794 году, после учёбы в Вологодской духовной семинарии и городском главном народном училище, преобразованном в дальнейшем в гимназию, был принят, по рекомендации Керестури, в старший (ректорский) класс университетской гимназии и в 1796 году был переведён на первый курс медицинского факультета московского университета. Во время учёбы по рекомендации Ф. Г. Политковского он был приглашён для лечения болевшей оспою дочерью Х. А. Чеботарёва - Софьи, на которой вскоре и женился.
В 1800 году окончил медицинский факультет университета с двумя золотыми медалями. В 1802 году был командирован за границу. По некоторым сведениям в это время он был принят в Риге в масоны, а позднее даже сам открыл ложу в качестве великого магистра. Слушал лекции в Берлинском университете у профессора Гуфеланда, в Гамбурге - у профессора Решлауба, в Геттингене - у Рихтера, в Вене Мудров изучал глазные болезни под руководством профессора Беера. Он также прожил четыре года в Париже, слушая лекции профессоров Порталя, Пинеля, Бойе и др.
За границей Матвей Яковлевич написал сочинение «De spontanea plaucentae solutione» («О самопроизвольном отхождении плаценты»), которое прислал в московский институт; в 1804 году он получил за него степень доктора медицины, а 2 августа 1805 года был определён экстраординарным профессором университета. В 1807 году, при возвращении в Москву, Мудров был задержан по распоряжению правительства в Вильно, где заведовал отделением главного военного госпиталя и отличился удачным лечением кровавого поноса, которым страдала русская армия. Здесь им был написан по-французски труд по вопросам военно-полевой хирургии «Принципы военной патологии…».
В июне 1808 года Мудров вернулся в Москву и начал читать лекции в Московском университете. В июле им была произнесена актовая речь «О пользе и предметах военной гигиены, или науки сохранять здоровье военнослужащих», которая оказалась настолько актуальной, что была напечатана и дважды переиздавалась (в 1813 и 1826 годах). С апреля 1809 года он - ординарный профессор патологии, терапии и клиники и директор Клинического института (вместо ушедшего по болезни Ф. Г. Политковского). В 1812 году он выезжал вместе с ректором Геймом и профессорами Чеботарёвым, Страховым и Ромодановским и воспитанниками гимназии выезжал в Нижний Новгород; после освобождения Москвы от неприятеля он приложил много стараний при возобновлении анатомической аудитории и восстановлении медицинского факультета. В день обновления медицинского факультета - 13 октября 1813 года - Мудров произнёс «Слово о благочестии и нравственных качествах гиппократова врача», в котором впервые в истории России на русском языке было оглашено учение Гиппократа.
Одновременно в 1813-1817 годах был ординарным профессором патологии, терапии и клиники в московском отделении Медико-хирургической академии, где открыл клинический институт.
Неоднократно его избирали деканом медицинского факультета (в 1813, 1819 и 1825 годах).
Также усилиями Мудрова в Кремле была возобновлена церковь св. Иоанна Лествичника в колокольне Ивана Великого, освящённая в 1822 году.
В 1830 году Мудров назначен членом центральной комиссии по борьбе с холерой и был командирован в Саратов, умер от холеры в Петербурге. Похоронен на Холерном кладбище Выборгской стороны (могила не сохранилась).
В 1878 году в журнале «Русская старина» некто П. П. (возможно, Петр Петрович Пекарский) описал расположение могилы Мудрова на кладбище: «Налево от входа под тремя вековыми елями» в ряду захоронений других известных людей - адмирала Г. А. Сарычева, инженер-генерала К. И. Оппермана, купца В. И. Пивоварова. В конце XIX века холерное кладбище упразднили, и в 1913 году Г. А. Колосов нашел там одинокую гранитную плиту с полустертой надписью: «Под сим камнем погребено тело раба Божия Матвея Яковлевича Мудрова, старшего члена Медицинского Совета центральной холерной комиссии, доктора, профессора и директора Клинического института Московского университета, действительного статского советника и разных орденов кавалера, окончившего земное поприще свое после долговременного служения человечеству на христианском подвиге подавания помощи зараженным холерой в Петербурге и падшего от оной жертвой своего усердия».
Мемуаристка Анна Лабзина провела в доме Мудрова последний период своей жизни. На портрете кисти Боровиковского она изображена с воспитанницей Софьей Алексеевной Мудровой (1797-1870), племянницей профессора
Мудрову принадлежат следующие работы:
- «Principes de la pathologie militaire concernant la guerison des plaies d’armes a feu et l’amputation des membres sur le champ de la bataille ou a la suite du traitement developpes aupres des lits der blesses» (Вильна, 1808);
- «Рассуждение о средствах, везде находящихся, которыми… должно помогать больному солдату», читанное в медико-физическом обществе в 1812 г.;
- «Краткое наставление о холере и способе, как предохранять себя от оной…», первое изд. во Владимире в 1830 г., второе - в Москве в 1831 г.
Оригинальный труд Мудрова заключается в собрании историй болезней всех больных, которых он лечил в течение 22-х лет. Это собрание состояло из 40 томов небольшого формата, куда Матвей Яковлевич заносил по особой системе все научные сведения о больном, о лекарствах, прописанных ему, и пр.
Мудров был доктором-практиком, придававшим большое значение наблюдению и натуре больных, следуя сочинению профессора виленского университета Иосифа Франка - «Praxeos medicae universae praecepta», и только в 20-х годах стал склоняться к системе доктора Бруссе.
Мудров был известен своей набожностью («Студенческие воспоминания» Ляликова в «Рус. Арх.», 1875, № 11). В быту жил просто и почти аскетично.