Итак, сменив нескольких владельцев, к концу XVIII в. усадьба на набережной Мойки фактически перешла в руки вельможи Екатерины II Л.А. Нарышкина – царедворца, состоявшего в родстве с императорским домом по Наталье Кирилловне, родительнице Петра Великого. Лев Александрович был очень остроумным и находчивым человеком, обладал большим чувством юмора и способностью к колким шуткам и каламбурам. Это о нем императрица писала: «Никто не заставлял меня так смеяться, как Нарышкин, обладавший замечательным комическим талантом и шутовскими наклонностями».

Об этом родовитом и очень богатом вельможе, владельце почти сорока тысяч душ, потомкам остались его многочисленные нелестные аттестации. Прусский посол граф Герц в 1780 г. писал: «Шталмейстер Нарышкин ищет только удовольствий. Он имеет английский сад; он автор всевозможных видов шутовства; он всегда занят изобретением новых видов празднеств, которые и дает. Так как он болтун, то хорошо заставить его болтать в свою пользу».

До своего переезда в приобретенный у светлейшего князя ГА. Потемкина особняк на левом берегу реки Мьи из своего дома князь Лев Александрович Нарышкин приступил к его довольно основательной перестройке. Подряд на обустройство старой усадьбы взял на себя зодчий Петербурга, приятель Джакомо Кваренги – Ф.И. Кампорези. В старых столичных справочниках можно обнаружить сведения о проекте зодчего

Кампорези по перестройке дома князя Льва Александровича на набережной Мойки: «При императрице Екатерине II Л.А. Нарышкин выстроил загородный дом на набережной реки Мьи. Дом, как его именовал Г.Р. Державин, „Храмоподобный“. Здесь он жил с женой и семью детьми».

Перестройка купленного особняка проходила по проекту архитектора Ф.И. Кампорези в период с 1793 по 1795 гг.

Двухэтажный каменный дом князя Л.А. Нарышкина занимал участок размером 247 квадратных саженей, одноэтажные здания размещались на площади 333 квадратных сажени. Перед крыльцом, в саду, по воспоминаниям свидетелей того времени, находился дуб, будто бы привезенный в 1789 г. князем Г.А. Потемкиным аж из самого Крыма, где якобы под ним отдыхала сама императрица Екатерина Великая.

12 мая 1796 г. усадебный дом князя Льва Александровича посетила императрица Екатерина II, описавшая свой визит в новый особняк Нарышкина в письме барону Гримму: «Вчера я провела целый день у обер-шталмейстера Нарышкина. Я отправилась в 2 часа по полудни в карете, вместе с великими княжнами Александрой и Еленой; за мной ехали великие князья Александр и Константин со своими супругами. Ехали мы (из Таврического дворца на конец Мойки, где находится новый дом обер-шталмейстера, заменяющий ему весной Таврический дворец) почти целый час, так как это совсем на другом конце города. Мы нашли прекрасный дом, великолепный обед и прелестный сад, в котором изобилие цветов».