Родился в семье доктора медицины Пауля Лангерганса-старшего (1820-1909) и его супруги Анны (в девичестве Кейбел).
Лангерганс-старший был известным врачом и общественным деятелем, возглавлявшим Берлинский городской совет; он также являлся другом выдающегося ученого Рудольфа Вирхова.
Анна Лангерганс скончалась от туберкулеза в 1853 г., оставив супругу трех детей: Пауля и его младших сестер Элизу и Гертруду. От второго брака Лангерганса-старшего у Пауля появились двое братьев: Рихард Фридрих (стал врачом и практиковал в Берлине) и Эрнст Роберт (стал ассистентом Вирхова, затем возглавил кафедру патологоанатомии).
Закончив берлинскую гимназию «Das Graue Kloster», Пауль в 1865 г. начал изучать медицину в университете Йены, затем перевелся в университет Фридриха Вильгельма в Берлине, где и завершил свое медицинское образование. Одним из его наставников был выдающийся физиолог и патологоанатом Рудольф Вирхов (1821-1902), с которым у Лангерганса-младшего, как и у его отца, сложились дружеские отношения. В студенческие годы (1867-1868) Пауль изучает в лаборатории Вирхова иннервацию наружного кожного покрова - эти исследования были затем описаны Лангергансом в его первой научной работе «Ueber die Nerven der Menschlichen Haut» (опубликована в 1868 г. в ведущем медицинском журнале «Вирховский Архив»). Он обнаружил звездчатые тела, имеющие сходство с нервными клетками; их иммунологическая функция была выяснена спустя столетие: особый вид дендритных клеток, проводящих нервный импульс. Впоследствии они получили название «клетки Лангерганса».
Изучением структуры поджелудочной железы молодой ученый занимался при подготовке докторской диссертации, которую защитил 18 февраля 1869 г. (название работы: «Beitrage zur mikroskopischen Anatomie der Bauchspeicheldruse»). Им была описана микроскопическая структура железы, где среди основной ткани были рассеяны «маленькие клетки почти однородного содержимого, многоугольной формы, с круглыми ядрами без нуклеолей, большей частью расположенные вместе парами или небольшими группами» (цитата из диссертационной работы). Их функция долгое время оставалась неизвестной, и лишь через три-четыре десятилетия было установлено, что эти образования продуцируют гормоны (и, в частности, инсулин). Название «островки Лангерганса» предложил в 1893 г. французский физиолог Г. Э. Лагусс.
Завершив медицинское образование, Лангерганс отправляется в 1869 г. в Египет, Палестину, Сирию в составе экспедиции знаменитого немецкого географа Генриха Киперта (1818-1899). На Востоке он ведет антропологические исследования, изучает проказу. Вернувшись на родину перед началом франко-прусской войны, он призывается осенью 1870 г. на годичную военную службу, местом которой стал полевой лазарет во Франции. В 1871 г., после окончания войны, он получил место преподавателя патологоанатомии во Фрайбургском университете, затем должность приват-доцента и, наконец, профессора. В 1874 г. его академическая карьера была прервана тяжелой болезнью - туберкулёзом. В поисках исцеления Лангерганс едет в Швейцарию и Италию, а в октябре 1875 г. переселяется на остров Мадейра, где его недуг удалось стабилизировать.
Обосновавшись в Фуншале, столице острова, он возобновил свои научные занятия, избрав новую тему: зоология морских беспозвоночных. Эта работа стала его третьим вкладом в науку - в 1887 г., во время последнего визита на родину, Лангерганс сделал доклад о своих исследованиях на заседании Королевской академии в Берлине. Он также занимался медицинской практикой в Фуншале и изучал влияние климата Мадейры на туберкулёзных больных, публикуя статьи в «Вирховском Архиве». В 1885 г. он женился на Маргарите Эберт, которая вскоре подарила ему дочь.
Осенью 1887 г. у Пауля Лангерганса началась прогрессирующая почечная недостаточность. Он скончался 20 июля 1888 г. и был похоронен на церковном кладбище в Фуншале.