Родился 5 декабря 1946 в Барселоне. Демонстрировал музыкальные способности уже с раннего детства. В это время находился под впечатлением от творчества Карузо. Впервые выступил на публике в возрасте восьми лет, исполняя La donna è mobile на испанской государственной радиостанции. В одиннадцать лет выступил в роли рассказчика в El retablo de Maese Pedro Фальи (дискант), потом в ещё одной роли второго плана во втором акте Богемы.
Каррерас учился в Conservatorio Superior de Música del Liceo. Дебютировал в Лисеу в роли Флавио в Норме, где заглавную роль исполняла Монсеррат Кабалье. Кабалье заметила талант молодого тенора и способствовала тому, чтобы он получил роль первого плана в Лукреции Борджиа Гаэтано Доницетти.
Каррерас вновь пел с Монсеррат Кабалье в 1971, когда дебютировал на лондонской сцене в Марии Стюарт, а позже ещё примерно в пятнадцати постановках.
В 1972 он дебютировал на американской сцене, исполнив роль Пинкертона в Мадам Баттерфляй. В 1974 в Вене он впервые выступил в роли герцога Мантуанского.
К 28 годам Каррерас исполнил уже 24 роли первого плана классического оперного репертуара.
В 1987, когда он находился на вершине славы, врачи поставили ему страшный диагноз: острая лейкемия. Был всего лишь один шанс из десяти, что певцу удастся выжить. Эта болезнь прервала карьеру Каррераса на целый год В следующем году Каррерас создает José Carreras International Leukaemia Foundation, организацию, собирающую пожертвования для финансирования исследований в области лечения лейкемии. Доходы Каррераса от примерно 60 концертов в год поступают в этот фонд.
Едва оправившись от болезни, Каррерас направился в Москву, где в дуэте с Монтсеррат Кабалье дал благотворительный концерт в помощь пострадавшим от землетрясения в Армении. Впоследствии артист много раз приезжал с гастролями в Россию.
В 1990 сотни миллионов телезрителей со всего мира могли видеть и слышать концерт «Трёх теноров», открывающий футбольный кубок мира в Риме. Этот концерт, первоначально задумывавшийся как способ помочь фонду Каррераса, стал традиционной встречей Каррераса и его коллег Лучано Паваротти и Пласидо Доминго.
В 1992 году Каррерас выступал на открытии и закрытии Олимпийских игр, проходивших у него на родине, в Барселоне. В начале 1990-х участвовал в постановках «Кармен» и «Самсон и Далила». Затем тенор полностью сосредоточился на сольных выступлениях. В операх его можно было увидеть не чаще, чем один-два раза в год, и каждый раз такое выступление становилось событием мирового масштаба. Последнюю партию артист спел в 1998 году в опере «Слай» Вольфа-Феррари, в 1999 году в той же постановке пел в США, на американской премьере в Вашингтонской опере (англ.)русск..
В 1990-х и начале 2000-х годов Каррерас давал в среднем 50 концертов в год. В 2009 году тенор объявил о завершении оперной карьеры, поскольку не мог больше выдерживать изнурительные нагрузки на театральной сцене.
Помимо оперы, Каррерас выступал в жанре сарсуэлы. Также он принял участие (как в студии, так и на сцене) в музыкальной комедии West Side Story.
16 марта 2014 года выступил на церемонии закрытия Паралимпийских игр в Сочи, исполнив гимн Паралимпиады вместе с Дианой Гурцкой.
Каррерас - почётный доктор ряда университетов мира. Посол Доброй Воли ЮНЕСКО.
В честь Каррераса в Испании названы консерватория, несколько музыкальных школ и концертных залов.
В 1992 году тенор расстался со своей супругой Мерседес Перес, от брака с которой, заключённого в 1971 году, имеет двоих детей - сына Альберта (р.1972) и дочь Жулию (р.1977). В 2006 году тенор женился на бывшей австрийской стюардессе Ютте Егер, но и этот брак распался в 2011 году.
Каррерас живёт на скромной вилле на побережье в часе езды от Барселоны.
Знающие певца друзья характеризуют его как весьма противоречивую натуру. Отмечается, что в Каррерасе удивительно сочетаются замкнутость и закрытость с буйным темпераментом и колоссальным жизнелюбием. Принцесса Каролина Монакская указывала: «Он кажется мне несколько скрытным, его трудно вытащить из его раковины. Он чуть-чуть сноб, но имеет на это право. Порой он забавный, чаще - бесконечно сосредоточенный… Но я всегда люблю его и ценю не только как великого певца, но и как просто милого, много испытавшего человека». По мнению Марии Антонии Каррерас Коль, «Хосе - совершенно непредсказуемый человек. В нём сочетаются такие противоположные черты, что порой это кажется невероятным. Например, он поразительно сдержанный человек, настолько, что некоторым даже кажется, будто бы у него вообще нет никаких чувств. А на самом деле он обладает самым взрывным темпераментом из всех, с которыми мне приходилось сталкиваться. А я их видела немало, ведь в Испании они совсем не редкость».