Джозеф Дэвис родился в семье валлийца-иммигранта. Его отец был каретником, много пил и умер, когда мальчику исполнилось десять лет. Мать была бережливым, добрым священником Уэльской Конгрегационалистской Церкви. Самое большое влияние в юности на Джозефа Дэвиса оказал богатый дядя по отцовской линии.
Джозеф Дэвис работал учителем гимнастики в Университете Висконсина и закончил его с отличием в 1898 году. Три года спустя он получил степень юриста в том же университете. В 1901 году он начал работать юристом в Уотертауне. В 1902 году Джозеф Дэвис женился на Эмлен Найт (Emlen Knight), дочери богатого лесопромышленника в Уотертауне. Юридическая практика Дэвиса шла успешно.
К тридцати пяти годам Дэвис уже был богатым человеком, и его интересы все более обращались к политике. В 1912 г. он был избран в Национальный комитет демократической партии и вскоре стал председателем президентской кампании Вудро Вильсона (Woodrow Wilson) на западе США.
Вудро Вильсон назначил Дэвиса комиссаром корпораций (commissioner of corporations) в 1913 г., а затем в 1915 г. - председателем Комиссии по федеральной торговле (Federal Trade Commission), и эту должность он занимал вплоть до своей отставки в 1918 году. Во время войны он также занимал должность члена Совета военной промышленности (War Industries Board) и служил советником Вильсона по экономическим вопросам в Версале.
Джозеф Дэвис и Франклин Делано Рузвельт стали близкими друзьями. Они также были соседями и часто играли в гольф.
После того как Дэвис ушел из администрации Вильсона, он открыл в Вашингтоне, округ Колумбия, адвокатскую контору - к нему обращались банки и корпорации. В качестве адвоката служил советником правительств Мексики, Нидерландов, Греции, Перу и Доминиканской Республики.
После отставки посла США в Москве Уильяма Буллита в 1936 году Рузвельт решил в конце августа 1936 года предложить пост посла в Москве Дэвису.
В августе 1936 года Дэвис был назначен послом в СССР. Он способствовал успешному завершению переговоров о торговом соглашении между СССР и США. С 1938 года он стал послом США в Бельгии и посланником в Люксембурге, с 1940 года - специальным помощником государственного секретаря. В 1941 году он возглавил созданный при президенте комитет по объединению деятельности всех организаций, занимающихся вопросами помощи союзникам во время войны.
После нападения нацистской Германии на СССР Дэвис заявил, что «мир будет удивлен размерами сопротивления, которое окажет Россия». Он стал одним из организаторов и почетным председателем Национального совета американо-советской дружбы. В одной из речей Дэвис сказал: «Среди всех Объединённых Наций не будет более верного, более стойкого в деле поддержания и защиты постоянного мира в свободном свете народа, чем советский народ». Джозеф Дэвис настоятельно требовал открытия второго фронта в Европе. Джозеф Дэвис входил в состав делегации США на Потсдамской конференции 1945 г.
Джозеф Дэвис повсеместно защищал И. В. Сталина и его политику. В интервью он описывал американцам Сталина как строгого, справедливого руководителя, который печется исключительно о благе государства и народа. Дэвис, в частности, присутствовал на трех показательных процессах. «Совершенно ясно, - сказал Дэвис, - что все эти процессы, чистки и ликвидации, которые в свое время казались такими суровыми и так шокировали весь мир, были частью решительного и энергичного усилия сталинского правительства предохранить себя не только от переворота изнутри, но и от нападения извне… Чистка навела порядок в стране и освободила её от измены».
В своей книге «Миссия в Москву» (1942), он активно защищает сталинизм. По этой книге в 1943 году был снят одноименный фильм. Во время войны этот фильм показывали в СССР.
Указом Президиума Верховного Совета СССР от 18 мая 1945 г. Джозеф Дэвис, единственный западный дипломат в истории СССР, был награждён орденом Ленина с формулировкой: «За успешную деятельность, способствующую укреплению дружественных советско-американских отношений и содействовавшую росту взаимного понимания и доверия между народами обеих стран».