Старший сын графа Андрея Петровича Шувалова – Петр Андреевич (1771–1808) – после окончания Пажеского корпуса назначается камер-юнкером в свиту императрицы Екатерины II и в 1787 г. вместе с отцом в ее свите отправляется в поездку по российским губерниям. В 1797 г. граф Петр Андреевич Шувалов женится на княжне Софье Григорьевне Щербатовой.

В начале царствования императора Павла I граф П.А. Шувалов назначается генерал-адъютантом царя. Служить и жить при новом императоре было страшно. Павел беспощадно удалял и отправлял в ссылку офицеров, иногда прямо с парада. Гвардейские офицеры теперь шли на военные смотры, захватив с собой деньги на случай внезапного ареста. В воспоминаниях о режиме Павла I даже существовала легенда о ссылке целого полка, отправленного царем в Сибирь прямо с военного парада. Самодержавие император понимал буквально, полагая, что он может управлять государством один, отдавая команды и требуя их незамедлительного выполнения. Павел I ввел в стране железную дисциплину. Однажды после вахт-парада он так и сказал: «Надо управлять железной лозой». Теперь многие считали «…чем дальше от престола, тем жить спокойнее и безопаснее». Император держал себя весьма странно, пугая придворных неожиданностью своих заявлений и поступков.

Генерал-адъютанту Павла I, графу Андрею Петровичу Шувалову, иногда казалось, что император сам плохо понимал то, что происходило вокруг него. Весь Петербург догадывался о существовании заговора против царя-тирана. И переворот действительно произошел. Холодной мартовской ночью 1801 г. под моросящим дождем заговорщики под командой графа Николая Зубова перешли замерзшие рвы Михайловского замка и ворвались в спальню императора. Офицеры окружили своего постоянного обидчика, и Николай Зубов первый ударил Павла I в висок массивной золотой табакеркой и опрокинул императора на пол. Убийство завершили пьяные гвардейские офицеры. Кто-то офицерским шарфом, накинутым на шею Павла I, задушил самодержца.

После этого трагического события граф Петр Андреевич Шувалов уходит в отставку и оставшиеся шесть лет жизни занимается приведением в порядок доставшейся ему после раздела шуваловских имений усадьбы Вартемяки, расположенной в северных окрестностях Петербурга.

После смерти в 1808 г. графа Петра Андреевича, его вдова – Софья Григорьевна наследует Вартемяки. После своего второго брака с французским подданным Шоленкура де Борни Софья Григорьевна уезжает за границу. Хозяевами Вартемяки становятся два ее сына – Андрей Петрович и Григорий Петрович Шуваловы.