По отзывам недругов графа Шувалова, бескорыстным государственным деятелем он все же не был. Забота о своих личных интересах, нередко в ущерб государству, позволяла Петру Ивановичу вести роскошную жизнь и одновременно постоянно пребывать в огромных долгах.

В 1762 г. граф Петр Иванович Шувалов скончался, передав бóльшую часть наследства своему единственному сыну – выпускнику столичного Пажеского корпуса графу Андрею Петровичу Шувалову (1742–1789), произведенному в 1756 г. в поручики лейб-гвардии Конного полка. С раннего детства наследник легендарного Петра Ивановича Шувалова воспитывался и рос при Императорском дворе вместе с юными графами А.Р. Воронцовым и А.С. Строгановым.

После получения офицерского чина Андрей Петрович включается в свиту графа М.П. Бестужева-Рюмина и вместе с ним отправляется за границу, сначала в Варшаву, а затем в Париж. По возвращению из служебного заграничного турне Петр Андреевич удостаивается придворного чина камер-юнкера, а через четыре года становится камергером.

После смерти батюшки граф Андрей Петрович в 1767 г. продает отцовский дворец на набережной Мойки графу З.Г. Чернышеву, а для себя решает капитально перестроить старый служебный корпус, расположенный на отцовском участке немного выше по течению реки. Архитектором нового жилого особняка на участке современного дома № 94 становится зодчий Ж.-Б. Валлен-Деламот, подготовивший в 1774 г. перестроечный проект старого здания, ставшего основой нового жилого особняка. На рабочих чертежах архитектора изображено здание в виде вытянутой буквы «П», расположенное в некотором отдалении от Мойки, в глубине участка. Центральный объем жилого здания графа Андрея Петровича имел три этажа, боковые ризалиты – по два. Со стороны реки зодчий предусмотрел въездную арку, ведущую в парадный двор. В конце участка со стороны Офицерской улицы (ныне – Декабристов) Валлен-Деламот соорудил въезд через триумфальные ворота – арку. Этот въезд прекрасно сохранился до наших дней. Так огромный участок разделился на две части с обособленными домами на каждом из них: дом № 94 графа Андрея Петровича Шувалова и дворцовый особняк князя Захара Григорьевича Чернышева (№ 96).

В короткий период правления императора Петра III граф Андрей Петрович проявил недюжинную дипломатичность и корректность, сохранив к себе расположение и царя, и будущей императрицы Екатерины Алексеевны.

В 1764 г. граф Андрей Петрович и его молодая супруга Екатерина Петровна, урожденная графиня Салтыкова (1743–1816) совершают второе заграничное путешествие в Европу, во время которого супруг знакомится с Вольтером, посетив его в Ферни.