Уроженец г. Слоним Гродненской губернии. Сын служащего. Брат советского государственного деятеля С. З. Гинзбурга. Окончил Минскую гимназию с серебряной медалью. Учился на историко-филологическом факультете Ростовского университета, но был исключен. Член РСДРП с 1913 г.
В 1916 переехал в г.Жиздра, где к тому времени жили его родители. Один из основателей городской партийной организации. С апреля 1917 г. секретарь Жиздринского уездного комитета РСДРП, с июля также председатель Совета рабочих и солдатских депутатов. Активный участник установления советской власти. В ноябре 1917 г. член Учредительного собрания от РСДРП
В 1918 комиссар Московского ВРК по Калужской губернии, член Московского областного бюро РКП(б), член Президиума Мособлисполкома. В декабре 1918 командирован на работу в Литву, член Литовско-Белорусского СНК. В последующем на ответственных должностях в ВСНХ и в системе Наркомвнешторга (в т.ч. в 1922-1926 заместитель торгпреда в Германии, член коллегии наркомата). С декабря 1926 г. научный сотрудник Коммунистической академии.
Член ВЦИК 3-6 созывов.
10 июня 1927 года убит неизвестными лицами около ст. Битца Московско-Курской железной дороги. По одной из версий, причиной убийства стала перевозимая им крупная сумма денег. Считалось, что он был агентом иностранного отдела ОГПУ в Германии, и через него на Запад переправлялись деньги и драгоценности для финансирования европейских компартий.
Некролог опубликован 12 июня в газете "Правда". На месте его гибели установлен камень http://fotki.yandex.ru/users/tati1944/view/175977/?page=0
Похоронен в Уголке коммунаров на Новодевичьем кладбище.