Родился в Слау (графство Бакингемшир) и уже в детстве обнаруживал замечательные способности.
Учился сначала в местной школе, но вскоре родители забрали его оттуда и до 17 лет он занимался дома, под руководством наставника Роджерса, изучая классические и новые языки, математику, музыку и пр. Поступив в Кембриджский университет, в коллегию St. John, Гершель продемонстрировал выдающиеся способности по математике и составил задачник по высшей математике.
Первыми его научными трудами были: «Some Remarkable Applications of Cotes' Theorem» (1812) и «Considerations of various Points of Analysis» (1814), когда он был уже членом Лондонского королевского общества. По окончании университетского курса Д.Гершель поселился в Лондоне, где благодаря знакомству с Волластоном занялся физикой и химией. К этому времени относятся его исследования об интерференции звука и поляризации света.
Д.Гершель первым разработал теоретическую основу изготовления объективов из двух линз, для ослабления влияние сферической и хроматической аберрации. Занимаясь исследованием солнечного света при помощи актинографа, он открыл существование тепловых лучей в части спектра за красными световыми лучами. (Инфракрасное излучение в 1800 г. открыл Уильям Гершель, отец Джона).
В 1830 году появились его классические сочинения о свете и о звуке, в издаваемой тогда в Англии «Encyclopaedia Metropolitana». Частое общение с отцом способствовали появлению у Джона интереса к астрономии; он переехал в Слау, и, установив новый зеркальный телескоп, начал наблюдения кратных звёзд и туманностей.
После наблюдений светил северного полушария Д.Гершель направился для наблюдений в южное полушарие, и с конца 1833 года работал в обсерватории на мысе Доброй Надежды, где вёл наблюдения в течение четырёх лет. Обработка этих наблюдений, произведенная без посторонней помощи, потребовала немало времени, и только в 1847 году были опубликованы «Results of astronomical Observations Rade at the Cape of Good Hope», а также «Общий каталог туманностей» (General Catalogue of Nebulae, 1864).
Из теоретических работ Гершеля по астрономии известен его весьма изящный и практичный способ вычисления орбит двойных звёзд, вошедший во все учебники астрономии; обработав движение спутника звезды γ Virginis, он ещё при жизни убедился в точности своих вычислений. Д.Гершель обнаружил более 3000 двойных звёзд, но главной темой его исследований стали туманности: в его каталоге их 2307.
Джон Гершель известен также как замечательный оратор и популяризатор науки. Его «Outlines of Astronomy», претерпела (с 1849 по 1893 год) двенадцать изданий, и долгое время служило образцом популярной книги по астрономии; книга эта переведена профессором Драшусовым на русский язык и издана под заглавием «Очерки по Астрономии». В ней, в частности, были введены в обращение Юлианские дни на основе идей, разработанных известным историком и хронологом Джозефом Скалигером.
Вернувшись из Африки, Гершель был окружён почётом, получил титул наследственного баронета, назначен директором монетного двора (1850-1855), неоднократно избирался председателем Лондонского королевского астрономического общества. Гершель женился в 1829 году и был отцом многочисленного семейства. Он погребён в Вестминстерском аббатстве рядом с могилой Ньютона.