Родился 30 августа 1935 года в городе Пэррис-Айленд (Калифорния). Его отец был солдатом в отставке, участником Первой мировой войны, мать - индианкой из племени чероки.
Его первой женой стала Сьюзан Адамс. От первого брака родились сын Джеффри и дочь Лаура МакКензи Филлипс.
В 1957 году Джон с семьёй переехал в Нью-Йорк и собрал группу «The Journeymen», с которой без особого успеха выступал в клубах.
В 1962 году познакомился с Мишель Гиллиам и пригласил её в группу в качестве солистки. Вскоре Филлипс развёлся со Сьюзан, и 31 декабря 1962 года Джон и Мишель поженились. От этого брака родилась дочь Чинна Филлипс, впоследствии основавшая группу «Wilson Phillips».
В 1965 году после прихода в группу «Мамы» Касс Эллиот и Дэнни Доэрти она сменила название на «The Mamas And The Papas».
В 1966 году Филлипс уволил из группы свою жену Мишель, уличив её в измене, однако уже через месяц попросил её вернуться.
В 1967 Джон написал знаменитую песню «San Francisсо», ставшую гимном движения хиппи. Песня стала известной в исполнении его друга Скотта МакКензи.
С 16 по 19 июня 1967 года в Монтерее (штат Калифорния) состоялся грандиозный рок-фестиваль, одним из учредителей которого был Джон Филлипс. Фестиваль стал знаковым событием шестидесятых. Среди участников фестиваля - Джимми Хендрикс, Дженис Джоплин, Рави Шанкар.
После распада группы в июле 1968 Джон занялся сольной карьерой. Его дебютный альбом «Wolf Кing of L.A.», вышедший в 1969 году, оказался коммерчески неуспешным.
В 1970 году Джон и Мишель развелись. Тогда же Филлипс совместно с певицей Мэри Клейтон записал саундтрек к фильму «Brewster McCloud».
В 1972 году он женился в третий раз - на актрисе Женевьев Вейт (с ней он развелся в восьмидесятых). От этого брака у него родилась дочь Бижу Филлипс, впоследствии ставшая актрисой.
31 июля 1980 года Джон был арестован за хранение и употребление наркотиков и приговорён к восьми годам заключения, однако позже срок был сокращён до 30 дней.
С 1981 года Джон с дочерью МакКензи Филлипс вёл на телевидении цикл программ, посвящённый борьбе против наркотиков.
Через Год Джон предпринял попытку в очередной раз реформировать «The Mamas And The Papas». В состав группы вошли, помимо самого Джона, Дэнни Доэрти, МакКензи Филлипс и Элен МакФерлейн. Вскоре Джон покинул реанимированный коллектив, и его единственным участником из «классического» состава шестидесятых остался только Доэрти.
В 1998 году Джон перенёс серьёзную операцию - трансплантацию искусственной печени. После этого он крайне редко появлялся на публике.
Джон Филлипс скончался в Лос-Анджелесе 18 марта 2001 года.
Незадолго до своей смерти Джон возобновил работу над альбомом, начатым в 1977 году с Миком Джаггером и Китом Ричардсом. Он был выпущен после его смерти в сентябре 2001 года под названием «Pay Pack & Follow». В этом же году вышла ещё одна пластинка - «Phillips 66».
В сентябре 2009 года старшая дочь музыканта, Маккензи, объявила, что состояла в сексуальных отношениях с отцом. Она обвинила Джона в том, что он накачивал её наркотиками и насиловал.