Близкими друзьями князя Николая являлись также прусский король Фридрих Великий, австрийский император Иосиф II, Вольтер, Дени Дидро, Д'Аламбер и Пьер Бомарше, посвятивший Юсупову оду.
В 1793 г. князь Николай женился на Татьяне Васильевне Потемкиной (урожденной Энгельгардт) – вдове генерал-поручика Михаила Сергеевича Потемкина. В 12 лет племянница светлейшего князя Г.А. Потемкина назначается Екатериной II во фрейлины ко двору В 16 лет Татьяна Васильевна выходит замуж за дальнего родственника генерал-поручика Михаила Сергеевича Потемкина, тому ко дню свадьбы исполнился 41 год. К венцу любимую красавицу-фрейлину одевала сама императрица.
Брак просуществовал всего десять лет. После смерти супруга Татьяна Васильевна вторично выходит замуж за князя Николая Борисовича Юсупова, которому в ту пору уже было более сорока лет. Княгиня Татьяна Васильевна оказалась женщиной не только красивой, но и обладавшей деловой хваткой, что позволило ей не только разумно вести огромное хозяйство, но и приумножить состояние своего супруга. По воспоминаниям Феликса Юсупова, семейное счастье этой умной женщины продолжалось недолго: «Князь Николай по-своему любил жену и оплачивал всякое новое ее приобретение и даже сам одаривал супругу оригинальными дорогими подарками. Однако с годами князь стал распутничать и жил у себя в Архангельском, как паша в серале. Княгиня, не терпя этого, переселилась в парковый домик „Каприз“, ею построенный. Удалилась она от света и посвятила себя воспитанию сына Бориса, родившегося от брака с князем Николаем Борисовичем, и делала благотворительности. Мужа пережила на десять лет и умерла в возрасте семидесяти двух лет, сохранив до конца знаменитые свои ум и шарм…»
Вся Москва обсуждала скандальную жизнь старого князя, особенно его гарем из шлюх и танцорок. Давно живя раздельно с женой, он держал у себя любовниц во множестве, актерок и пейзанок. Театрал-завсегдатай Архангельского рассказывал: «… его фавориткой была актриса-француженка, красотка, горькая пьяница. Она, когда напивалась, бывала ужасна. Лезла драться, била посуду и топтала книги… Самой последней его пассии было восемнадцать, ему – восемьдесят!»
Князь Николай Борисович Юсупов скончался в 1831 г. и был с почестями похоронен в своем подмосковном имении Спасское.
После смерти Н.Б. Юсупова основным наследником его огромного состояния оказался сын Борис. Наследник не походил на родителя ни внешностью, ни характером. Своей врожденной независимостью, прямотой и простотой в обхождении с людьми князь Борис Николаевич, по мнению князя Феликса Юсупова, «нажил более врагов, чем друзей. В выборе последних он искал не богатство и положение, а доброту и честность.