Родился 11 февраля 1816 г. в г. Борго в Великом княжестве Финляндском, где был расположен полк, в котором служил его отец. Детство Ольшевского прошло в родовом имении в Гродненской губернии.
В 1826 г. поступил в 1-й кадетский корпус, по окончании которого 22 апреля 1833 г. был выпущен прапорщиком в 1-ю артиллерийскую бригаду и занимал должность бригадного адъютанта. Из бригады в 1838 г. уже чине поручика поступил в Императорскую Военную академию. По окончании курса в Академии в 1840 г. был причислен к Гвардейскому Генеральному штабу и в 1841 г. получил назначение на Кавказ. Службу на Кавказе Ольшевский начал в Ставрополе с должности офицера для особых поручений в штабе войск Черноморской линии. В 1844-1853 гг. состоял при войсках Левого фланга Кавказской линии, исполнял должность квартирмейстера 20-й пехотной дивизии, в 1845 г. за отличие в делах с горцами был произведён в капитаны, в 1850 г. произведён в подполковники и награждён золотой полусаблей с надписью «за храбрость», в 1852 г. избран членом-сотрудником Русского географического общества и награждён орденом св. Владимира 4-й степени с бантом, годом позже, 26 ноября, награждён орденом св. Георгия 4-й степени за выслугу 25 лет в офицерских чинах (№ 9120 по списку Григоровича - Степанова).
В 1853 г. произведён в полковники и назначен командиром Белевского пехотного полка, с которым в время Крымской войны принял участие в составе отряда генерала Бебутова в многочисленных делах с турками, в том числе при Курюк-Дара. За отличие произведён 24 июля 1854 г. в генерал-майоры. В 1855 г. назначен командиром Левого фланга Лезгинской линии, в 1856 г. - начальник штаба корпуса, действующего на Турецкой границе.
С 1856 по 1861 гг. был дежурным генералом Кавказской армии, в 1856 г. награждён орденами св. Станислава 1-й степени и св. Анны 1-й степени. 23 апреля 1861 г. произведён в генерал-лейтенанты и назначен начальником Кавказской резервной дивизии, 1864 г. командовал войсками Кубанской области. В 1865 г. был переведён в центральную Россию, поочерёдно командовал 9-й и 15-й пехотными дивизиями, награждён орденом св. Владимира 2-й степени. В 1873 г. назначен состоять по запасным войскам.
Во время русско-турецкой войны 1877-1878 гг. пытался вернуться в строй, но его просьбы не были приняты во внимание. 30 августа 1881 г. произведён в генералы от инфантерии и назначен членом Александровского комитета о раненых. В 1883 г. по случаю пятидесятилетнего юбилея службы в офицерских чинах награждён орденом св. Александра Невского.
Скончался 1 марта 1895 года, похоронен на Новодевичьем кладбище в Санкт-Петербурге.
Мелентий Яковлевич оставил после себя выдающееся сочинение мемуарно-исторического характера: «Кавказ с 1841 по 1866 год». Публикация текста растянулась на много лет, фрагменты печатались во многих ведущих периодических изданиях Кавказа и России, целиком текст под одной обложкой был напечатан только в Санкт-Петербурге в 2003 году. Работу Ольшевского высоко ценили такие признанные авторитеты как военный министр Д. А. Милютин, историки М. И. Венюков и П. О. Бобровский. Кроме воспоминаний он напечатал в периодике несколько статей военного, географического и этнографического характера.