Однажды ожидал он у себя царя с царицей. Церемониймейстер вычеркнул было кое-кого из списка гостей, но встретил решительный отпор князя: „Коли оказана мне честь принять государей моих, она оказана и всем близким моим“».

Князь Борис Николаевич Юсупов женился на Зинаиде Ивановне Нарышкиной, впоследствии графине де Шово и маркизе де Серр. Их единственный сын – князь Николай Борисович Юсупов – станет отцом последней из потомков по прямой линии князей Юсуповых, княгини Зинаиды Николаевны Юсуповой, вышедшей замуж за графа Феликса Сумарокова-Эльстона, взявшего фамилию и титул супруги.

5 марта 1830 г. бывший особняк Шуваловых на набережной реки Мойки, 94, князь Борис Николаевич Юсупов покупает у своей тетки А.В. Браницкой за 250 000 рублей.

Став в 1830 г. владельцем этого особняка, князь Борис Николаевич Юсупов приступил к его капитальной перестройке, продолжавшейся почти восемь лет с 1830 по 1838 г. По заказу нового владельца известный зодчий Андрей Алексеевич Михайлов 2-й радикально переделал фасады и интерьеры старинного особняка. Именно благодаря проекту зодчего А.А. Михайлова здание приобрело свой нынешний дворцовый облик. Оставив без изменений центральную часть парадного фасада здания, выходящего на набережную Мойки, архитектор надстроил боковые одноэтажные флигели до трех этажей, объединив их таким образом под одной крышей с центральной парадной частью дворца. Опытный зодчий А.А. Михайлов оставил также без каких-либо серьезных изменений и старый прочный фундамент перестраиваемого им особняка графа Андрея Петровича Шувалова, и находящиеся в его подвалах хозяйственные помещения и кладовые.

Через 150 лет после постройки дворцового здания князей Юсуповых последний его владелец – Феликс Феликсович Юсупов – в своих мемуарах с удовлетворением отмечал: «Подвал в доме на Мойке был настоящим лабиринтом. Эти толстостенные с глухими дверями помещения не боялись ни пожара, ни наводнения. Находились там и винные погреба с винами лучших марок, и кладовые с коробами столового серебра и драгоценных сервизов для званых вечеров, а также хранилища скульптур и полотен, не нашедших места в картинных галереях и залах. Это „подвальное“ искусство могло бы составить музей». Подвальные помещения, жилые комнаты и залы Юсуповского дворца действительно не боялись наводнений и подземных вод. Но подобное положение сохранялось лишь до 2008 г.

Член-корреспондент международной академии экологии Александр Голубков уверенно считает: «Скорее всего, в бедах Юсуповского дворца виноваты не застройщики, а нарушенный дренаж… По набережной реки Мойки, как и на других набережных и улицах города, возникшего, по выражению А.С. Пушкина, „из топи блат“ проходит старинный дренаж, который веками надежно защищал постройки Петербурга от подземных вод. Дренаж этот представляет собой – снизу вверх – слои крупного и мелкого камня, затем битую черепицу и уже потом грунт и песок. Оказывается, относительно недавно на Мойке велись дорожные работы, в ходе которых была вырыта узкая, но довольно глубокая траншея для замены подземных городских коммуникаций. Именно этим тогда нарушили дренаж и повредили грунты». По словам авторитетного ученого, многие подвалы домов на набережной реки Мойки подтоплены подобным образом. Не избежал подобной участи и дом княгини Волконской, где сегодня находится Всероссийский музей А.С. Пушкина.