Постепенно авторитет и роль Петра Андреевича в качестве столь значительного государственного лица падают, и в 1874 г. Александр II вынужден был вежливо освободить своего подопечного от должности шефа жандармов и главного начальника III отделения, оставив его членом Государственного совета и назначив чрезвычайным и полномочным послом в Англию, где, по словам очевидцев, неопытного в делах международной политики графа Шувалова неоднократно вынуждали заблуждаться, пользоваться ложной информацией и принимать неверные политические решения. По высказыванию друга, того же Петра Андреевича – государственного секретаря А.А. Половцева: «Его неприготовленность, легкомыслие, бесцеремонность в обращении с мыслями и быстрота в ведении дел лишили его деятельность той доли пользы, на которую выдающиеся его способности могли давать право надеяться».

Деятельность графа Петра Андреевича Шувалова на дипломатическом поприще вызвала в свое время немало справедливых возмущений и нареканий. Он легкомысленно пошел на уступки англичанам в Афганистане, не получив при этом каких-либо компенсаций для России. Стал активным сторонником невмешательства России в дела на Балканском полуострове.

Возражал против начала войны с Турцией в 1877 г. и обещал англичанам не переносить действия российских вооруженных сил в Средиземное море. Благодаря этому Балтийский флот так и остался тогда в своих базах.

Особенно много нареканий Шувалов имел после Берлинского международного конгресса в 1878 г. Истощенная войной Россия, потерявшая более 200 тысяч человек и несущая огромные экономические потери, вынуждена была согласиться на пересмотр Сан-Стефанского мирного договора, заключенного 19 февраля 1878 г. Тогда его подписание завершило войну России с Турцией. В течение трех месяцев, предшествующих Берлинскому конгрессу, между договаривающимися сторонами шла острая дипломатическая борьба относительно условий пересмотра договора.

На Берлинском конгрессе 1878 г. Россию представляли министр иностранных дел А.М. Горчаков и посол в Лондоне П.А. Шувалов, согласившиеся под давлением английских и австрийских дипломатов на многие значительные уступки не только в пользу проигравшей войну Турции, но и Австрии, позволив ей оккупировать Боснию и Герцеговину. Общественные круги Российской империи в те дни особенно резко критиковали графа П.А. Шувалова, проявившего на конгрессе непозволительную мягкость и благодушие в отстаивании политических интересов России.

Это был последний неверный шаг в краткой и весьма неудачной дипломатической карьере графа Петра Андреевича Шувалова. Именно после Берлинского конгресса счастливая карьера «ближайшего боярина» императора завершилась. Отставленный от всех важных государственных дел граф уединился в своем особняке (дом № 90/1) на тихой набережной Мойки в обществе своей второй супруги – дамы не в меру капризной и честолюбивой. Бывавший в их доме приятель Петра Андреевича – князь П.В. Долгоруков довольно точно охарактеризовал новую спутницу графа Шувалова, считая ее «женщиной ума ограниченного, самонадеянности невероятной, неуемно чванливой, мелко самолюбивой и сварливой». При встречах с приятелями на охоте, во время доверительных воспоминаний с ними о былом Петр Андреевич теперь уныло повторял: «Меня использовали в незрелом возрасте и отбросили, когда я созрел». По мнению старых друзей, отставленного «вершителя судеб человеческих» служебные неудачи, обострившиеся хронические недуги вкупе со сварливой и скандальной Еленой Ивановной вскорости свели бывшего фаворита Александра II в могилу.