Война застала Гордона в горах Джорджии и Алабамы, где при его участии сформировался отряд горцев, поучивший название «Raccoon Roughs». Несмотря на отсутствие военного опыта и образования, в мае 1861 года Гордон был избран командиром этого отряда, который вскоре был включен в состав 6-го алабамского полка в качестве роты «I». 14 мая Гордон стал майором этого полка, а 28 апреля 1862 года - полковником. Впоследствии быстро прошел путь до генерал-майора (14 мая 1864). Сам он утверждал, что дослужился до генерал-лейтенанта, но официальных подтверждений этому не обнаружено. Гордон был решительным генералом. В 1864 году в письме президенту Дэвису генерал Ли описывал его как одного из лучших бригадных генералов, «отличающегося необычной храбростью».
Полковник Гордон служил командиром 6-го алабамского полка в дивизии Эмброуза Хилла во время кампании на Полуострове. Он участвовал в сражении при Севен-Пайнс, где был ранен бригадный командир Роудс, и Гордон временно принял командование бригадой. В Семидневной битве он неоднократно ходил в атаки, причем пулями была разбита рукоятка его пистолета и сильно порван мундир. В бою у Малверн-Хилл он был ранен в глаз.
В сражении при Энтитеме его полк сражался в составе дивизии Роудса и оборонял Санкен-Роуд и Гордон снова был ранен. Две пули Минье попали ему в ногу и еще одна пуля навылет ранила руку. Несмотря на тяжелое состояние, Гордон продолжал командовать бригадой. Четвертая пуля попала ему в плечо, но и после этого он отказался уйти в тыл. Наконец, пятая пуля попала ему в лицо, пробив щеку. Он упал лицом в шляпу и мог бы захлебнуться в собственной крови, но кровь вытекла через пулевое отверстие в шляпе.
1 ноября 1862 года Гордону присвоили звание бригадного генерала, но оно не было утверждено, поэтому его повторно присвоили 7 мая 1863 года. C 11 апреля он стал командовать джорджианской бригадой в дивизии Джубала Эрли - бывшей бригадой Лоутона.
Геттисбергская кампанияПосле нескольких месяцев выздоровления он вернулся в строй и в июне 1863 года. В начале геттисбергской кампании его бригада состояла из шести полков:
- 13-й джорджианский пехотный полк: полк. Джеймс Смит
- 26-й джорджианский пехотный полк: полк. Эдмунд Аткинсон
- 31-й джорджианский пехотный полк: полк. Клемент Эванс
- 38-й джорджианский пехотный полк: подп. Уильям Маклеод
- 60-й джорджианский пехотный полк: кап. Уолтерс Джонс
- 61-й джорджианский пехотный полк: полк. Джон Лэймер
В ходе Геттисбергской кампании его бригада выступила из Гамильтонс-Кроссинг 4 июня, а 14 июня участвовала во втором сражении при Винчестере, успешно атакуя Винчестер с юга.
22 июня бригада перешла Потомак у Шефедстауна, прошла через Бунсборо к Геттисбергу, где отделилась от дивизии Эрли и отправилась к Йорку, а затем заняла Райтсвилль на реке Саскуэханна - самый восточный из занятых армией Конфедерации пунктов. Федеральное ополчение полковника Джекоба Фрика подожгло деревянный мост через реку, что привело к пожару в городе. Бригаде Гордона пришлось заниматься тушением пожара. 29 июня Гордон отправился на соединение с основной армией и днем 1 июля прибыл под Геттисберг по Харрисбергской дороге (с северо-востока). Бригада вышла как раз на правый фланг XI федерального корпуса, где держала оборону дивизия Бэрлоу, занявшая позиция на "Холме Бэрлоу". Гордон оставил 26-й полк для охраны артиллерии, а остальные полки развернул в боевую линию. Так как его солдаты были утомлены маршем, он приказал им медленно подойти на 300 метров к противнику и только затем перейти на быстрый шаг.
Холм Бэрлоу обороняли бригады Эймса и Фон Джилса, которые в этот самый момент попали под удар бригады Джорджа Долса с севера. Под плотным огнем противника джорджианцы Гордона перешли Рок-Крик, бросились на холм и отбросили 153-й пенсильванский и 54-й нью-йоркский полки, а затем стоящие во второй линии 75-й огайский и 54-й нью-йоркский полки. Бригада Долса переключилась на бригаду Кржижановски, а Гордон преследовал остатки бригад Бэрлоу, пока не получил приказ остановиться.
2 и 3 июля его бригада активно задействована не была, а 5 июля она была арьергардом отступающей Северовирджинской армии и вела бои около Фэирфилда. 14 июля бригада перешла Потомак и ушла в Вирджинию.
1864Конная статуя Гордона перед капитолием Джорджии.
Во время Оверлендской кампании Гордон командовал дивизией в корпусе генерала Ричарда Юэлла. Именно он предложил атаку правого фланга противника в Битве в Глуши, которая могла бы серьёзно изменить ход сражения, если бы не потеря времени при обсуждении этого предложения. Через несколько дней в сражении при Спотсильвейни ему удалось остановить атаку федеральной армии и спасти Северовирджинскую армию от разгрома. Он оставался в корпусе Эрли во время кампании в долине Шенандоа (1864) 25 августа 1864 был ранен под Шефердстауном. Его жена Фэнни, которая сопровождала мужа во время кампании - как тогда поступали многие жены - сама бросилась на улицу во время Третьего сражения при Винчестере, убеждая отступающих солдат повернуть назад. Гордон был потрясен, увидев её на улице, под снарядами и ядрами.
Вернувшись в армию после ее разгрома на Кедровом Ручье, Гордон возглавил Второй Корпус Северовирджинской армии до конца войны. В этой должности он участвовал в обороне Петерсберга и руководил атакой форта Стедман 25 марта 1865 года - где получил ранение ноги. В сражении при Аппоматоксе он повел своих людей в последнюю атаку в истории Северовирджинской армии, при этом сумел ворваться в траншеи противника и захватить несколько орудий. 12 апреля 1865 года его отряд официально сдался Джошуа Чемберлену, представителю генерала Гранта.