Играл на позиции тяжёлого форварда. Учился в Алабамском университете, в 1995 году был выбран на драфте НБА под 20-м номером командой «Чикаго Буллз». Позже выступал за команды «Голден Стэйт Уорриорз» и «Милуоки Бакс». Всего в НБА провёл 8 сезонов. В сезонах 1995/1996 и 1996/1997 Кэффи становился чемпионом НБА в составе «Буллз». Всего за карьеру в НБА сыграл 462 игры, в которых набрал 3368 очков (в среднем 7,3 за игру), сделал 2022 подбора, 420 передач, 209 перехватов и 110 блокшотов.
Кэффи подписал контракт с командой «Чикаго Буллз» в 1995 году, когда в ней блистали Майкл Джордан, Скотти Пиппен и Деннис Родман, где выходил на площадку в основном со скамейки запасных (27 игр в стартовой пятёрке из 183 за неполные три сезона), хотя получал неплохую игровую практику (2260 минут). Разумеется ему это не очень нравилось, и он решил попробовать свои силы в другой команде, в результате чего в феврале 1998 года его обменяли в «Голден Стэйт Уорриорз» на бывшего партнёра Дикея Симпкинса, которому руководство «Буллз» решило дать ещё один шанс, так как перед началом сезона 1997/1998 годов его уже обменивали в «Уорриорз» на Скотта Баррелла. В результате всех этих перестановок выиграл только Симпкинс, потому что по итогам чемпионата он получил третий чемпионский перстень, а Кэффи наоборот потерял.
Правда в новой команде он регулярно выходил на площадку в стартовой пятёрке, набирая течение сезона в среднем за игру по 10,9 очка, 1,1 передачи и 5,9 подбора, поэтому летом 1999 года Джейсон подписал новый контракт с «Голден Стэйт» ещё на семь лет, в течение которых руководство клуба должно было выплатить Кэффи 35 миллионов долларов. Однако проведя ещё один неплохой сезон в «Уорриорз», в течение которого он набирал в среднем за игру по 12,0 очка, 1,7 передачи и 6,8 подбора, он был обменян в «Милуоки Бакс».
В новой команде Кэффи провёл три сезона, в течение которых его технические показатели снизились вдвое. Возможно, это было связано с рядом личных проблем, среди которых были вегетативный криз в 2002 году и обвинение в нападении в следующем году. В результате всего этого Джейсон завершил карьеру в НБА в 2003 году, а руководство «Бакс» ещё до начала сезона 2003/2004 выкупило оставшиеся два года его контракта за 11,8 миллиона долларов.