Род Голицыных продолжили его сыновья – старший Михаил Александрович и младший – Федор Александрович, ставшие главными наследниками немалого состояния покойного батюшки. Трехэтажный особняк № 90/1 на набережной Мойки перешел, согласно воле почившего, старшему сыну – Михаилу Александровичу, известному талантливому библиофилу и дипломату.
Плохо знавший русский язык, долго работавший за рубежом князь Михаил Александрович проявлял живейший интерес к новинкам отечественной литературы и их авторам. А.О. Смирнова-Россет в своих «Записках» упоминала, что однажды приехавший из Парижа князь Михаил Александрович присутствовал в ее доме при чтении писателем Н.В. Гоголем его новой пьесы «Женитьба». В последние годы жизни князь Михаил Александрович Голицын исполнял обязанности русского посла в Испании. Отчий дом в эти годы обычно пустовал и находился под присмотром княжеского управляющего. В 1834 г., незадолго до кончины, князь Михаил Александрович Голицын продает унаследованный от батюшки великолепный усадебный участок и дом на набережной Мойки графу Андрею Петровичу Шувалову (1802–1873), сыну царедворца Петра Андреевича (1771–1808), внуку Андрея Петровича Шувалова (1743–1789) и правнуку знаменитого графа Петра Ивановича Шувалова (1711–1762) – известного российского сановника и государственного деятеля, ставшего в 1740 г. одним из основных руководителей и исполнителей государственного переворота, приведшего к власти дочь Петра I – Елизавету.
Граф Андрей Петрович Шувалов в царствование императоров Александра I и Николая I являлся президентом Придворной конторы и обер-гофмаршалом Императорского двора. Под его началом находилось дворцовое хозяйство и организация снабжения царского двора, устройство официальных приемов и дворцовых праздников. Одновременно с этими придворными обязанностями граф Андрей Петрович был членом Государственного совета и императорским куратором управляющего Эрмитажем.
По воспоминаниям А.О Смирновой-Россет: «Придворные недолюбливали обер-гофмаршала графа Андрея Петровича Шувалова, ловкого и довольно нахального царедворца с надменно-высокомерным взглядом». Она открыто называла графа «пройдохой», который ради своей карьеры настойчиво намеревался жениться на Софье Дмитриевне, младшей дочери любовницы Александра I Марии Антоновны Нарышкиной, почти официально считавшейся родной дочерью императора. Однако этот брак не состоялся, поскольку невеста, страдавшая чахоткой, умерла незадолго до свадьбы. В день ее похорон безутешный жених будто бы сказал одному из своих друзей: «Мой милый, какого значения я лишился».