Екатерина II высоко ценила дипломатический талант графа Шувалова, успешно выполняющего ее многочисленные поручения и задания. В одном из писем к Вольтеру императрица писала, что «граф Шувалов – превосходный чтец, один из самых аккуратных и прилежных людей, ей известных». В 1768 г. Андрей Петрович становится директором двух Ассигнационных банков, учрежденных тогда в Москве и Петербурге. Князь Вяземский в своих воспоминаниях утверждал, что «…гр. Андрей Шувалов, блестящий царедворец двора Екатерины, приятель Вольтера и Лорана… сам писал французские стихи, часто переписываемые лучшими современными французскими поэтами… Он исправлял грамматически письма императрицы к Вольтеру. В поездках Екатерины Алексеевны по России граф нередко сопровождал ее, включенный в свиту русской императрицы».
В 1776 г. граф А.П. Шувалов получил заграничный отпуск и в течение пяти лет вместе с супругой жил в Европе. По возвращению на Родину в 1781 г. он назначается сенатором, и по распоряжению Екатерины II проводит серьезную государственную ревизию присутственных мест Санкт-Петербургской губернии. В 1782 г. граф Шувалов избирается Петербургским губернским предводителем дворянства и награждается высшими наградами Российской империи – орденами Св. Андрея Первозванного и Александра Невского.
В начале 1787 г. граф А.П. Шувалов в свите императрицы отправляется в путешествие по России, во время которого Андрею Петровичу пришлось ревизовать губернские управления. Осенью того же года граф Шувалов становится членом Совета при императрице. Однако в конце восьмидесятых годов XVIII столетия наступает некоторое охлаждение Екатерины II к Андрею Петровичу. Этому во многом способствовали постоянные происки новых царских фаворитов.
После смерти А.П. Шувалова, наступившей весной 1789 г., его дом на набережной Мойки (№ 94) унаследовали два его сына – Петр Андреевич (1771–1808), Павел Андреевич (1776–1823) и две дочери – Прасковья Андреевна (1767–1828) и Александра Андреевна (1775–1849). Сыновья и дочери Андрея Петровича получили прекрасное образование, обзавелись семьями и являлись весьма уважаемыми людьми столичного высшего общества
На семейном совете наследники графа А.П. Шувалова единодушно решили продать отцовский особняк на Мойке в казну.
Купленный у наследников дом Андрея Петровича императрица Екатерина II в 1795 г. подарила своей любимой фрейлине графине Александре Браницкой – племяннице князя Г.А. Потемкина. Новая владелица особняка вновь перестроила его и благополучно жила в нем на протяжении 35 лет. В 1830 г. графиня А.В. Браницкая продает шуваловский особняк на набережной Мойки своим родственникам, князьям Юсуповым.