Родился в дворянской семье Александра и Елизаветы Мравинских. Отец, Александр Константинович (1859-1918), выпускник Императорского училища правоведения, состоял членом консультации при Министерстве юстиции, служил окружным юрисконсультом военно-окружного совета Петроградского военного округа и имел чин тайного советника. Мать, Елизавета Николаевна (1871-1958), происходила из дворянского рода Филковых. Сестра отца, Евгения Мравинская, была знаменитой солисткой Мариинского театра в 1886-1900 годах под псевдонимом Мравина. Сводной сестрой отца была Александра Коллонтай. Среди родственников Мравинского - поэт Игорь Северянин.
Учился во 2-й Санкт-Петербургской гимназии и на естественном факультете Петроградского университета, который бросил из-за невозможности совмещать учёбу с работой в театре. Обучался в дирижёрско-хоровом техникуме при Ленинградской академической капелле. Работал артистом миманса в Мариинском театре, пианистом в Ленинградском хореографическом училище, где досконально изучил сложную технику классического танца. В 1924 году поступил в Ленинградскую консерваторию (педагоги Н. А. Малько, А. В. Гаук) на отделение композиции. В 1927 году стал заниматься на отделении дирижирования, где и приобрёл технические навыки и умение работать с партитурой. С 1929 по 1931 годы был заведующим музыкальной частью Ленинградского хореографического училища.
Дебютировал в Мариинском театре в 1932 году. В 1932-1937 годах провёл около 40 программ с оркестром Ленинградской филармонии. В 1934 году этот оркестр одним из первых в СССР получил почётное звание Заслуженного коллектива Республики. В 1932-1938 годах был дирижёром Мариинского театра, в основном балетного репертуара. В 1938 году, победив на Первом Всесоюзном конкурсе дирижёров в Москве, в течение пятидесяти лет (1938-1988) возглавлял Заслуженный коллектив России Академический симфонический оркестр Ленинградской филармонии.
В 1939 году первым исполнил Шестую симфонию Шостаковича. В 1940 году дебютировал в Москве. После начала Великой Отечественной войны оркестр Мравинского был эвакуирован в Новосибирск. Оттуда в сентябре 1944 года оркестр вернулся в Ленинград.
1946 год - первые зарубежные гастроли Мравинского. Он побывал в Финляндии, где также встретился с знаменитым композитором Яном Сибелиусом. В 1954 году, за заслуги в развитии музыкального искусства Мравинскому было присвоено звание народного артиста СССР. 1955 год - вторые зарубежные гастроли оркестра Мравинского - в Чехословакии. 1956 год - гастроли в ГДР, ФРГ, Швейцарии и Австрии, 1958 год - гастроли в Польше, 1960 год - гастроли в семи странах Западной Европы, 34 концерта. С тех пор оркестр Мравинского выезжал на гастроли примерно каждые два года, в Западную или Восточную Европу (8 раз - в Австрии, 6 раз - в Японии). Последние зарубежные гастроли Мравинского состоялись в 1984 году, а последний концерт - 6 марта 1987 года в Большом зале Ленинградской филармонии.
С 1961 года Мравинский преподавал в Ленинградской консерватории, с 1963 года - профессор.
Среди записей - произведения Людвига ван Бетховена, Иоганнеса Брамса, Антона Брукнера, Яна Сибелиуса, Петра Чайковского, Дмитрия Шостаковича, Франца Шуберта, Артюра Онеггера. После 1961 года не делал студийных записей, все записи последующего времени сделаны на концертах (одна из важнейших студийных записей - три последние симфонии Петра Чайковского - осуществлена фирмой Deutsche Grammophon в 1960 году).
Умер 19 января 1988 года в Ленинграде. Похоронен на на Богословском кладбище.
По результатам опроса, проведённого в ноябре 2010 года британским журналом о классической музыке BBC Music Magazine, Мравинский занял семнадцатое место в списке из двадцати наиболее выдающихся дирижёров всех времён. В эту «двадцатку» помимо Мравинского вошли Артуро Тосканини, Леонард Бернстайн, Бернард Хайтинк, Клаудио Аббадо, Пьер Булез, Вильгельм Фуртвенглер, Саймон Рэттл и др..