Родился 16 января 1746 года в Клеве (город в земле Северный Рейн - Вестфалия, Германия). Отец - Lorenz Friedrich Müller (1715-1796), архитектор и инженер. Мать - Maria Magdalena Josepha (1726-1800).
После получения начального образования в маленькой частной школе был отправлен учиться в грамматическую школу в Дармштадт. Весной 1762 года стал кадетом Артиллерийского Корпуса армии Гессена, переехав в Гессен вместе с семьёй. Там стал посещать лекции по математике и физике в Гессенском университете. Его отец хотел, чтобы сын продолжил семейную традицию и также стал инженером-архитектором, но Иоганн находил более привлекательными другие карьеры. Еще во время учёбы в грамматической школе, он хотел стать художником, в университете надеялся стать профессором математики и физики. Однако, скоро он обнаружил, что профессия инженера наиболее интересна для него, и посвятил много времени чтению книг по статистике, гидравлике и механике.
В 1769 году Артиллерийский Корпус сократил свою численность, и Мюллер был вынужден искать работу. Вскоре после этого, его нанял в качестве инженера принц Георг Вильгельм, правитель Гессена - человек с широкими интересами как в гражданской, так и в военной архитектуре и инженерии.
В 1769-1770 годах Мюллер предпринял обширное образовательное путешествие по Италии (Рим, Неаполь, Венеция) и Австрии (Вена). В апреле 1772 года принц Вильгельм взял Мюллера с собой в пятимесячную поездку в Париж, где они посетили и изучили множество удивительных зданий и машин в городе, а также в Сен-Клу Версале и Марли. После возвращения из этой поездки Мюллер посвятил большинство своего времени архитектурным и механическим проектам и разнообразным финансовым расчётам для правителя.
В феврале 1774 года Мюллер стал строительным инспектором в Дармштадте, а три года спустя - строителем-подрядчиком, ответственным за проектирование и техническое обслуживание зданий. В 1778 году он вернулся на военную службу в чине капитана Артиллерийского Корпуса, впоследствии продвинулся до подполковника (Lieutenant-Colonel) в 1797 и до полковника в 1800 году.
В 1770 году Мюллер принял участие в проектировании нескольких общественных зданий Дармштадта. Фонтан на Рыночной площади перед старой ратушей Дармштадта, построенный по проекту Иоганна Мюллера в 1780 году, сохранился до сих пор.
Иоганн Мюллер обладал весьма творческим мышлением, и начал делать изобретения с начала 1770-х годов. Первым изобретением был заказанный принцем для своих детей театр с оптическими и механическими эффектами. Дальнейшими разработками были: большое зажигательное (фокусирующее) зеркало, солнечные часы, воздушный насос, пневматическое ружьё, барометр, дальномер и тому подобное. Наиболее значимыми из всех его разработок являются выполненные им в 1780-х годах проекты вычислительных устройств - механического калькулятора и разностной машины.
19 августа 1781 года Иоганн Мюллер женился на Катерине Фабриции Иоганетте фон Вестерфельд (1761-1830). В этом браке родились пятеро детей - две дочери и три сына, но почти все они умерли в младенчестве. Осталась только дочь Фредерика (1784-1841), вышедшая замуж за дармштадтского военного барона фон Галля; их дочь, внучка Мюллера, - писательница Луиза Шюкинг.
Умер Иоганн Мюллер 12 июня 1830 года в Дармштадте.