1 января 1775 Пётр Александрович был записан капралом в л.-гв. Преображенский полк, 21 мая 1785 вступил в этот же полк подпоручиком и назначен флигель-адъютантом к Императрице Екатерине II. 14 июля 1788 из капитан-поручиков гвардии переведен в армию подполковником. Сражался со шведами в 1788-1790. 28 марта 1792 зачислен в Ингерманландский карабинерный полк, 13 апреля 1793 переведен в Псковский драгунский полк. В 1792 и 1794 воевал в Польше. За отличие в бою под Брестом произведен 28 июня 1794 в полковники.
Во время штурма Праги, командуя двумя эскадронами, первым ворвался на польскую батарею и, несмотря на ранение картечью в левую руку, захватил восемь орудий и по представлению А. В. Суворова награждён 1 января 1795 орденом Св. Георгия 3-го кл. 9 ноября 1797 получил генерал-майорский чин, 9 ноября того же года пожалован шефом Нижегородского драгунского полка, 29 ноября - генерал-адъютантом.
В 1799 г. был отправлен к главнокомандующему австрийской армией в Германии, эрцгерцогу Карлу, для сношений с А. В. Суворовым.
При воцарении Александра I Толстому ведено было 20 марта 1801 состоять по армии. 25 октября 1802 назначен Выборгским военным губернатором и инспектором кавалерии Финляндской инспекции. 5 февраля 1803 переведен на должность Санкт-Петербургского военного губернатора, 23 мая того же года назначен командиром л.-гв. Преображенского полка и инспектором Санкт-Петербургской инспекции по инфантерии.
В сентябре 1805 г. отплыл с 20-тысячным десантным корпусом в Померанию для действия, под главным начальством шведского короля Густава-Адольфа IV, против французов в Сев. Германии; но Аустерлицкое сражение изменило положение дел, и корпус Толстой возвратился сухим путём в Россию.
В начале войны 1806-1807 гг. ему было поручено соглашать мнения враждовавших между собою корпусных командиров (Беннигсена и Буксгевдена) и доносить обо всем государю. По назначении Беннигсена главнокомандующим Толстой занимал при нём место дежурного генерала; потом, командуя резервом армии, в весеннем походе тревожил неприятеля со стороны Остроленки и прикрывал на Нареве российские границы.
С октября 1807 по октябрь 1808 г. был чрезвычайным послом в Париже. Поняв замыслы Наполеона, Толстой писал, что все дружеские уверения повелителя Франции - обман и ложь, умолял не верить им, а готовиться заранее к отпору, и предсказывал близкое вторжение французов в пределы России. Такого посла Наполеон не мог терпеть при своем дворе; после свидания императоров в Эрфурте Толстой был отозван.
17 июня 1812 он был назначен командующим войсками в губерниях Казанской, Нижегородской, Пензенской, Костромской, Симбирской и Вятской. Деятельно руководя доставкою рекрутов и формированием ополчения, Толстой под конец Отечественной войны 1812 года и сам выступил в поход с дружинами. В 1813 г. они образовали особый корпус и вошли в состав так назыв. польской армии Беннигсена, с которою двинулись в Богемию. При общем наступлении к Лейпцигу корпус Толстого оставлен был под Дрезденом для блокады этого города, занятого Сен-Сиром. Накануне Лейпцигского сражения Сен-Сир, узнав о слабости войск Толстого, предпринял общую вылазку и без труда отбросил его к Цейссу с довольно значительной потерей; но Толстой, подкрепленный разными австр. отрядами, в свою очередь оттеснил французов и содействовал взятию Дрездена.
C 1816 года командовал в Москве 5-м пехотным корпусом. C 1820 года один из основателей и вице-президент (с 1843 г. президент) Императорского Московского общества сельского хозяйства. Сельскохозяйственные навыки и новации применял в подмосковном имении жены Узкое (находилось недалеко от Москвы на Старой Калужской дороге, ныне находится в черте города), владельцем которого стал впоследствии. При нём получило своё дальнейшее развитие оранжерейное хозяйство в Узком. В 1828 г. основал в Москве Общество любителей садоводства.
В 1826 г. был назначен в Верховный уголовный суд по делу декабристов. В 1828 г. был главнокомандующим в Петербурге и Кронштадте, входил во Временную верховную комиссию, управлявшую во время отсутствия Николая I. В этом качестве Толстой допрашивал А. С. Пушкина во время расследования по делу о «Гавриилиаде». Затем, уже после возвращения Николая, когда Пушкин признался тому в авторстве крамольной поэмы, Толстой передал поэту ответ государя (о чём Пушкин сделал краткую запись).
В 1831 г. сформировал в сев.-западных губерниях резервную армию и быстро усмирил волнения в Литве, бывшие следствием Польского восстания 1830 г.
Был членом Государственного совета и комитета министров. В 1839 году вышел в отставку и вернулся в Москву, где в своём имении Узкое вплотную занялся сельским хозяйством и работой в Императорском Московском обществе сельского хозяйства.
Умер скоропостижно 28 сентября 1844 года и похоронен в Московском Донском монастыре.