Джефферсон Коламбус Дэвис родился в округе Кларк, штат Индиана. Записался добровольцем в армию США во время Американо-мексиканской войны, после окончания которой был зачислен в артиллерийский полк.
Незадолго до начала Гражданской войны Дэвис получил звание лейтенанта и был направлен в форт Самтер, где и присутствовал во время исторического сражения. В августе 1861 года он был произведён в ранг полковника и возглавил 22-й пехотный полк Индианы. Через три месяца ему присвоили звание бригадного генерала добровольцев. Дэвис командовал 3-й дивизией в битве при Пи-Ридж. В сражении при Коринфе он возглавил 4 дивизию Миссисипской армии. Позднее Дэвис был отправлен в госпиталь, но он оставил его, чтобы помочь в обороне Цинциннати.
В сентябре 1862 года Дэвис стал участником неприятного инцидента. Губернатор Индианы Оливер Мортон прибыл в Луисвилл к командующему Дону Карлосу Бьюэллу и потребовал принять более активные меры для обороны Индианы. Бьюэлл отправил к Мортону генерала Уильяма Нельсона, для того, чтобы тот утихомирил губернатора. Нельсон попытался уладить конфликт, но Мортон стал громко обвинять его в трусости. Услышав шум, Дэвис зашёл в номер губернатора, являвшегося его другом. Он принял сторону Мортона и также стал упрекать Нельсона, в ответ, тот дал ему пощёчину и вышел из номера губернатора. Дэвис догнал его и застрелил в упор. Позже он был арестован и заключён в тюрьму, но через несколько дней был отпущен без предъявления обвинений, - за него вступился генерал Горацио Райт.
Дэвис отличился в сражении у горы Кеннесо и 8 августа 1864 года получил звание бригадного генерала, и был назначен командиром XIV-го корпуса. Эту должность он сохранил до окончания Гражданской войны.
После окончания войны Дэвис продолжил службу в армии. Он был назначен первым командующим Департамента Аляска. Во время занимания этой должности он приказал русским жителям Ситки оставить свои дома, чтобы их заняли американцы.
В апреле 1873 года был назначен командующим американской армии в войне с модоками. Его действия привели к сдаче части лидеров индейцов, среди которых оказались Хукер Джим, Скарфэйс Чарли и Шэкнести Джим. Дэвис взял их под защиту армии, пообещав помилование, если они согласятся содействовать в поимке Капитана Джека, лидера враждебных модоков. 4 июня 1873 года Капитан Джек был захвачен солдатами генерала в долине Лэнгелл.
Джефферсон Коламбус Дэвис скончался 30 ноября 1879 года в Чикаго и был похоронен на кладбище Краун-Хилл в городе Индианаполис.