Родился 28 февраля 1945 года в Челябинске в семье актрисы и педагога Софьи Михайловны Гутманович (1916-1999) и театрального режиссёра, народного артиста Узбекской ССР Александра Осиповича Гинзбурга (1917-1973) - двоюродного брата кинооператора Валерия Гинзбурга и писателя, барда, диссидента Александра Галича.
В 1961-1963 годах работал ассистентом оператора на Ташкентской студии телевидения.
В 1963 году начал учёбу на режиссёрском факультете Ташкентского института театрального искусства им. А. Островского (педагог - Кабулов Анатолий Зухирович).
Окончил режиссёрский факультет Грузинского государственного института театрального искусства имени Ш.Руставели в 1966 году (класс Михаила Туманишвили).
В 1967 году начал работу в качестве режиссёра редакции эстрадно-концертных программ, с 1968 года - режиссёр Главной редакции музыкальных программ ЦТ СССР.
Специализировался на постановке эстрадных концертов, шоу, позже - театральных бенефисов.
Получили широкую известность и популярность телевизионные бенефисы, поставленные Е. Гинзбургом, с участием С. Крамарова, В. Васильевой, Л. Гурченко, С. Мартинсона.
В декабре 1978 года был назначен руководителем съёмочной группы, работавшей над созданием программы о первых гастролях группы Boney M. в Москве. Телешоу «Вечер Boney M. в концертной студии Останкино» впервые было показано в апреле 1979 года и вызвало широкий резонанс. Запись этой программы впоследствии была уничтожена в период правления Юрия Андропова (1982-1983).
Гинзбург поставил мини-цикл из двух телеконцертов Людмилы Гурченко - «Песни войны» и «Любимые песни».
Постановщик всех «Новогодних аттракционов» в цирке на Цветном бульваре и цирке на проспекте Вернадского.
В 1983 году поставил полнометражный фильм «Рецепт её молодости».
В 1984 году Гинзбург стал режиссёром снятого в Ленинграде музыкального фильма «Волшебная белая ночь» с участием итальянского дуэта Аль Бано и Ромины Пауэр.
Работы Гинзбурга («Волшебный фонарь», «Остров погибших кораблей», «Руанская дева по прозвищу Пышка») неоднократно отмечались призом «Серебряная роза» международного телефестиваля в Монтрё (Швейцария), первым советским победителем которого он стал.
Могила Гинзбурга на Троекуровском кладбище Москвы.
Был продюсером студии «Волшебный фонарь» под эгидой Центра Ролана Быкова. Президент фестиваля телевизионных развлекательных фильмов 1992 года. В 2003 году удостоен премии ТЭФИ «За личный вклад в развитие отечественного телевидения». Был членом Академии российского телевидения, но в 2007 году подал заявление о выходе из её состава. По его собственным словам, Гинзбургу были страшны «чудовищная провинциальная пошлость, чванство, псевдопатриотизм, хамство и прочее в том же роде», господствовавшие на российском телевидении тех лет.
В первом десятилетии XXI века работал с Матвеем Ганапольским над передачей «Детектив-шоу»/
Работал как театральный режиссёр.
Преподавал в Московском институте телевидения и радиовещания «Останкино».
Умер 15 января 2012 года в 05.30 утра в 64-й Московской клинической больнице от инсульта.