Родился в Будапеште (тогда - Австро-Венгрия) в еврейской семье. В 1893 году его семья переехала в швейцарский посёлок Тальвиль. Школу Марсель закончил в Базеле, а в 1896 году поступил в швейцарский Федеральный Политехнический Институт (Политехникум, город Цюрих), где подружился с однокурсником Альбертом Эйнштейном. В 1902 году защитил диссертацию в Цюрихском университете. В 1901 - 1905 годах преподавал в городе Фрауэнфельд, затем некоторое время - в Базеле.
С 1907 года Гроссман вернулся в Цюрих и стал в Политехникуме профессором математики. Специализировался в области начертательной геометрии. С 1911 года - декан физико-математического факультета. В этой должности он оставался до 1927 года. В 1910 году Гроссман стал одним из основателей Швейцарского математического общества, в 1916-1917 гг. был его председателем.
Дважды Марсель Гроссман оказал существенное влияние на жизненный путь Эйнштейна. Впервые это произошло в 1902 году, когда Эйнштейн после Политехникума не мог найти работу и находился в отчаянном материальном положении. Гроссман (через своего отца) помог Эйнштейну устроиться на должность эксперта в Федеральное Бюро патентования изобретений (Берн, Швейцария). Эйнштейн и Гроссман вели интенсивную переписку, а спустя 7 лет друзья снова встретились в Цюрихе - Эйнштейн, уже известный физик, стал профессором Цюрихского университета.
Второй случай представился в 1912 году, когда Эйнштейн пришёл к выводу, что математическая модель общей теории относительности (ОТО) должна описывать искривлённое четырёхмерное пространство-время. Он обратился к Марселю Гроссману с просьбой помочь в выборе средств для такого описания. Гроссман порекомендовал тензорный анализ, уже глубоко разработанный в то время для двумерных поверхностей, и содействовал Эйнштейну в разработке его четырёхмерного обобщения. Как вспоминал Эйнштейн, Гроссман «охотно согласился совместно работать над проблемой, но всё-таки с тем ограничением, что он не берёт на себя никакой ответственности за какие-либо физические утверждения и интерпретации».
Спустя год они совместно написали первую статью по тензорной модели ОТО - как позже вспоминал Эйнштейн, Гроссман разработал математические разделы этой статьи, а сам Эйнштейн - физические. Содержание этой статьи было ещё далеко от окончательного варианта ОТО. Ещё одна их совместная статья была опубликована в следующем году. Для завершения работ по созданию ОТО понадобилось ещё 3 года, и на этом этапе Гроссман участия не принимал.
Среди других работ Гроссмана - ряд статей по начертательной и неевклидовой геометрии, другие работы геометрического направления, а также два школьных учебника.
С 1920 года у Гроссмана начали проявляться прогрессирующие симптомы рассеянного склероза, и в 1927 году он был вынужден оставить преподавание. Спустя 9 лет он скончался.
До конца жизни Эйнштейн тепло и благодарно вспоминал Гроссмана и высоко ценил его вклад в создание общей теории относительности. Он посвятил памяти Гроссмана одну из последних своих статей с автобиографией (1955).