Выступал на позиции защитник за разные клубы, в том числе «Халл Сити», «Суиндон Таун», «Астон Виллу» и «Саутенд Юнайтед». Его карьера достигла максимума в «Астон Вилле», с которой он выиграл титул чемпиона Второго дивизиона в сезоне 1959/60 и Кубок Футбольной лиги в 1961 году.
В 1968 году после завершения карьеры игрока, он был назначен на пост главного тренера «Рексема», с которым завоевал два Кубка Уэльса и вывел клуб в 1/4 финала Кубка обладателей кубков УЕФА сезона 1975/76, что является лучшим достижением клуба в еврокубках. Ещё два года назад, в 1974 году он впервые в истории клуба вывел «Рексем» в 1/4 финала Кубка Англии. В 1977 году Нил сменил Джека Чарльтона на посту тренера «Мидлсбро», но из-за разногласий с советом директоров клуба покинул пост.
В мае 1981 года Джон Нил был назначен главным тренером «Челси». Вместе со своим помощником Яном Макнилом он унаследовал клуб, который находился в полном финансовом крахе. Его первые годы в клубе не увенчались успехом. В сезоне 1982/83 клуб едва не вылетел в Третий дивизион, всё решилось только в последней игре, в драматической победе над «Болтон Уондерерс». Тем не менее у Нила было очень хорошее чутьё на игроков. Он подписал футболистов, которые будут в дальнейшем показывать впечатляющую игру, такие как Дэвид Спиди, Керри Диксон, Пэт Невин, Найджел Спэкмен и Эдди Недзвецки, за которых в общей сложности было отдано меньше, чем 500 000 фунтов. В сезоне 1983/84, всего через год после того как клуб почти не был понижен в классе, «Челси» стал чемпионом Второго дивизиона и вышел в элиту.
По возвращении в Первый дивизион, клуб укрепил свои позиции под руководством Нила и даже некоторое время боролся за место в еврокубках. Закончив сезон 1984/85 на 6-м месте, Нил ушёл на пенсию из-за плохого состояния здоровья. В 1986 году ему была сделана операция на сердце. Проживал в Рексеме. 24 ноября 2014 года, Джон Нил умер в возрасте 82-х лет.