Родился 19 января 1904 года в селе Янгужинский Майдан Инсарского, Ковылкинского, района Республики Мордовия. Окончил 4 класса. В 1924 году он подался на отхожие промыслы - поступил работать на торфопредприятие имени Классона, обеспечивавшее Электрогорскую ГРЭС. Жил в селе Мележи Киржачского района Владимирской области. Из рядовых рабочих он перешел на должность сначала бригадира по добыче торфа, потом начальника поля, начальника участка. В 1931 году вступил в ВКП/КПСС.
В сентябре 1941 года был призван в Красную Армию. Воевал на Западном, Центральном, 2-м Украинском и 1-м Белорусском фронтах. К лету 1943 года гвардии ефрейтор Ершов воевал в составе моторизированного батальона автоматчиков 11-й гвардейской отдельной танковой бригады.
В августе 1943 года на одном из участков Центрального фронта, который оборонял мотострелковый батальон, где служил Ершов, разгорелся жаркий бой. Только в боях с 1 по 8 августа 1943 года минометный расчет, в котором Ефим Ершов был заряжающим, уничтожил 93 вражеских солдата, одну пушку, три миномета противника, один ручной пулемет и одну автомашину. Солдаты расчета захватили в плен двух противников. В этой схватке парторг Ершов из личного оружия уничтожил шесть противников, был награждён орденом Красной Звезды.
26 января - 20 февраля 1944 года в боях на территории Винницкой области Украины у сёл Очеретня, Татьящевка и Почапинцы гвардии сержант Ершов командовал отделением автоматчиков. Со своими бойцами уничтожили более 100 солдата и офицера противника, один пулемет и одну автомашину. Из личного оружия в этих боях Ершов уничтожил 25 противников. Был представлен командиром к награде, но пока ходили документы, Ершов вновь отличился.
5-12 марта 1944 года, во время боев по ликвидации корсунь-шевченковской группировки противника, у сел Ульяновка и Джулинка командир минометного расчета гвардии сержант Ершов с расчетом истребил много солдат и офицеров противника, поразил 6 автомашин с грузом, пушку и крупнокалиберный пулемет. Отражая контратаки противника из личного оружия уничтожил 50 противников
Приказом от 25 апреля 1944 года гвардии сержант Ершов Ефим Фёдорович награждён орденом Славы 2-й степени. Приказом от 26 июня 1944 года гвардии Сержант Ершов Ефим Фёдорович награждён орденом Славы 3-й степени.
В завершающих боях Великой отечественной войны, на германской земле, гвардии старший сержант Ершов был командир бронетранспортера отдельной разведывательной роты все той же 11-й гвардейской отдельной тяжелой танковой бригады.
За период боевых действий с 14 апреля 1945 года гвардии старший сержант Ершов сделал 32 выхода в разведку, и из каждого поиска он доставлял ценные сведения о противнике. 19 апреля в районе Штраусберг, рискуя ежеминутно жизнью, под сильным огнем противника Ершов пробрался в расположение вражеских войск и точно установил местонахождение засады вражеских танков. Об этом он своевременно доложил своему командованию. В результате танки его бригады успешно совершили обходный манёвр. 28 апреля в районе Берлина пробрался в тыл противника и вместе с группой разведчиков вступил в неравный поединок с гитлеровцами, вооруженными фаустпатронами. В схватки группа Ершова истребила девять противников, а двух взяла в плен.
В сентябре 1945 года был демобилизован. Вернулся в село Мележи.
Указом Президиума Верховного Совета СССР от 15 мая 1946 года за образцовое выполнение заданий командования в боях с немецко-вражескими захватчиками гвардии старший сержант Ершов Ефим Фёдорович награждён орденом Славы 1-й степени. Стал полным кавалером ордена Славы.
Работал начальником участка на том же торфопредприятии. За высокие показатели, достигнутые в социалистическом соревновании, за доблестный труд был удостоен высшей награды страны - ордена Ленина. С 1963 года жил в селе Филипповское того же Киржачского района Владимирской области. Скончался 25 ноября 1965 года.
Награждён орденом Ленина, двумя орденам Красной Звезды, орденами Славы 3-х степеней, медалями.