Происходил из Могилевских дворян, начал службу в 1793 году в Преображенском полку в звании сержанта; 25 мая 1795 года пожалован поручиком и кавалергардом; 6 декабря 1796 года переведён в лейб-гвардии Семёновский полк, с производством в капитаны; 6 марта 1798 года произведён в полковники. Через год, 2 марта 1800 года, Голынский получил чин генерал-майора и был переведён в Измайловский полк.
В 1803 году ему было повелено состоять по армии; 19 августа 1804 года он назначен шефом Томского мушкетного полка.
Был награждён орденом Св. Анны 3-й степени и был командором ордена святого Иоанна Иерусалимского.
Умер 5 апреля 1809 года.