Детство его прошло в Остафьево, где в те же годы Карамзин писал свою "Историю государства Российского". В Остафьево, родовом подмосковном имении князей Вяземских, юный Петр получил домашнее образование, затем учился в Иезуитском пансионе в Петербурге, а после слушал на дому, в Москве, лекции профессоров Московского университета.
24 июля 1812 года двадцатилетний служащий Межевой канцелярии П.А. Вяземский обратился к директору за разрешением вступить в ополчение. Позже он не без юмора напишет об этом времени:
- Рифмы прочь, и перья в папку,
- И долой мой модный фрак,
- - Я надел медвежью шапку,
- Я мамоновский казак!
Конный полк М. А. Дмитриева-Мамонова так и не успел сформироваться до Бородинского сражения, но Вяземский получил предложение от генерала М.А. Милорадовича принять его "к себе в должности адъютанта". Первые военные впечатления П. А. Вяземский получил в Можайске: "Я застал тут многих из своих знакомых по московским балам и собраниям, и все они, более или менее, были изувечены после битвы, предшествовавшей Бородинской".
К свите генерала Милорадовича Вяземский присоединился в самом начале сражения - утром 26 августа 1812 года. Он писал: "Я так был неопытен в деле военном и такой мирный московский барич, что свист первой пули, пролетевшей надо мной, принял я за свист хлыстика. Обернулся назад и, видя, что никто за мной не едет, догадался я об истинном значении этого свиста". В ходе сражения лошадь под П. А. Вяземским была убита, но молодой князь "жалел, что эта пуля не попала мне в руку или ногу, хотя, каюсь, и не желал бы глубокой раны, а только чтоб закалилась на мне память о Бородинской битве". За участие в сражении он был награжден орденом Святого равноапостольного князя Владимира IV степени.
Свои воспоминания о 1812 г. П. А. Вяземский писал многие десятилетия спустя, и тон их - ироничный по отношению к самому себе - только добавляет доверия к автору, не побоявшемуся признаться в своей "не героичности" при виде грандиозной битвы.