Моше Кармель родился 17 января 1911 года в городе Миньск-Мазовецки в Российской Империи (теперь город в Польше). В 1924 году в возрасте 13 лет переехал жить в Палестину. Он был одним из основателей киббуца Наан и принимал активное участие в молодёжном движении «Ха-Ноар ха-Овед ве ха-Ломед».
С 1939 по 1941 годы он был заключён в тюрьму британскими властями. Во время арабо-израильской войны в 1948 году, Моше был командиром бригады Кармель, ставшим особо известным во время Операции «Хирам».
Моше Кармель был избран в Кнессет третьего созыва в 1955 году, в качестве члена партии Ахдут ха-Авода и был назначен министром транспорта. 28 сентября 1956 года он вылетел в Париж с Моше Даяном, Шимоном Пересом и Голдой Меир, где они провели встречи с министром иностранных дел Франции Кристианом Пино. Цель совещания заключалась в уточнении возможности совместных действий Израиля, Франции и Англии против Египта.
Моше Кармель умер в Тель-Авиве в возрасте 92 лет и был похоронен на кладбище Кирьят-Шауль. У него остались две дочери.