Леонид Марков родился в селе Алексеевском (или Алексеевка) (ныне - г. Акколь, Акмолинская область, Казахстан).
В 1931-1934 годах играл детские роли в спектаклях Саратовского драматического театра, где служил его отец - актёр Василий Демьянович Марков. Мать Мария Петровна была гримером.
В 1945 году вместе со своей старшей сестрой - Риммой Марковой поступил в студию при Вологодском драматическом театре, где учился до 1947 года; в том же году был принят в студию при Московском театре им. Ленинского комсомола.
По окончании студии, в 1951 году, Леонид Марков был зачислен в труппу Театра им. Ленинского комсомола, на сцене которого дебютировал ещё в 1947 г. в роли Неходы в спектакле «Честь смолоду». Играл Яшу, а позже Петю Трофимова в «Вишнёвом саде» А. П. Чехова, Петрушина в «Живом трупе» Л. Н. Толстого и ряд других ролей классического и современного репертуара.
В 1960 году Марков перешёл в Московский театр им. А. С. Пушкина, где, в частности, сыграл Тимофея Рваного в «Поднятой целине» М. А. Шолохова.
С 1966 по 1986 год служил в Театре им. Моссовета, где запомнился целым рядом ролей, в их числе Арбенин в лермонтовском «Маскараде», Звягинцев в инсценировке романа Шолохова «Они сражались за Родину», Порфирий Петрович в «Петербургских сновидениях» (по роману Ф. М. Достоевского «Преступление и наказание»). После недолгого пребывания в 1986-1987 годах в Малом театре, где играл Антипа в пьесе М. Горького «Зыковы», вернулся в Театр им. Моссовета.
Умер 2 марта 1991 года (по другим источникам - 1 марта) в Москве от рака. Похоронен на главной аллее Кузьминского кладбища.