Николай Ершов родился 15 сентября 1892 года в деревне Соловьёво (ныне - Солигаличский район Костромской области). В марте 1918 года добровольно пошёл на службу в Рабоче-крестьянскую Красную Армию. Участвовал в боях Гражданской войны на Западном и Южном фронтах.
В годы Великой Отечественной войны Ершов служил заместителем начальника 4-го управления Главного управления связи РККА. Провёл большую работу по организации доставки средств связи в действующие и в формирующиеся части. 3 июня 1944 года Ершову было присвоено звание генерал-майора войск связи.
Скончался 25 октября 1947 года, похоронен на Новодевичьем кладбище Москвы.
Был награждён орденами Ленина, Красного Знамени, Отечественной войны 1-й степени, Красной Звезды, «Знак Почёта» и рядом медалей.