Родился в городе Харипуре; по этнической принадлежности пуштун.
Когда в 1947 году был создан Пакистан, Айюб Хан возглавил вооружённые силы в Восточном Пакистане (ныне Бангладеш).
Потомственный военный, отец Мухаммеда служил в британской армии в чине субедар-майора. Закончил Мусульманский университет в Алигархе, затем Королевское военное училище (Великобритания). К моменту обретения Пакистаном независимости был самым старшим по званию мусульманским офицером.
В 1951 году был назначен главнокомандующим пакистанской армией.
С 1954 по 1956 г. занимал пост министра обороны, а после военного переворота 1958 года стал главой военного режима.
В 1960 году формально легитимизировал свое положение во главе государства референдумом.
На посту главы государства Мухаммед Айюб Хан инициировал Вторую индо-пакистанскую войну, проводил проамериканскую внешнюю политику, именно в его правление состоялось вступление Пакистана в Багдадский пакт, потом СЕНТО и СЕАТО. Проводил политику ускоренного экономического роста и умеренной земельной реформы. Добился принятия второй пакистанской конституции, ограничившей политическую жизнь рамками так называемых «основных демократических прав».
В марте 1968 года Айюб Хан тяжело заболел и утратил политический контроль над страной.
В марте 1969 года Айюб Хан ушёл в отставку под давлением политической оппозиции.