По проекту Н.В. Султанова в особняке обустроили домашнюю церковь, освященную в 1899 г. во имя преподобной Ксении и св. Благоверного князя Александра Невского, оформленную в старорусском стиле конца XVI – начала XVII столетий. Ее главным украшением стал иконостас, выполненный в старинных традициях из меди с синей эмалью. Иконостасу полностью соответствовали запрестольные образа, люстры и подсвечники. Сводчатые стены и потолок расписали изображениями в круглых клеймах. Центральное место среди них принадлежало образу св. Дмитрия Царевича. Композиция Св. Отцов Церкви считалась подобием древнего образа из Владимирского собора в Киеве. По рисункам Н.В. Султанова изготовлено все надлежащее убранство храма и вся его утварь.

В государственном историческом архиве сохранились планы расположения помещений дворца великой княгини Ксении Александровны, составленные в 1900 г. зодчим О.А. Паульсоном.

Согласно этому документу, в подвале дворца располагался винный погреб, рядом с ним – два подвальных отсека для хранения овощей и сушилка. Слева от них находилась внушительных размеров кухня. Основную часть жилого подвального этажа дворца занимали комнаты для прислуги.

В центре первого, парадного дворцового этажа располагался салон-гостиная, за ним следовал вестибюль с парадной лестницей. Слева над кухней находилась столовая, рядом с которой была обустроена сервировочная комната, соседствовавшая с помещениями гардеробной и камердинерской, окна которых выходили в сад.

Всю правую часть парадного этажа занимал великий князь Александр Михайлович. Здесь находилась его спальня (будуар) с дубовыми панелями и лепным плафоном, далее – княжеский кабинет с дубовым потолком, кованой арматурой дверей и с камином, облицованным цветной майоликой. В кабинете были установлены дубовые стеллажи, на которых располагалась знаменитая княжеская морская библиотека – 20 000 уникальных книг по истории флота, собранных великим князем Александром Михайловичем и считавшихся самым полным собранием в мире по морским вопросам. По воспоминаниям великого князя, он «выписывал книги из крупнейших магазинов Парижа, Лондона, Бостона, Нью-Йорка, Праги, Рима…» И это увлечение стоило ему огромных денег.

Верхний этаж занимала княгиня Ксения Александровна с детьми. В левой части верхнего этажа располагались комнаты камер-юнгферы. За спальней великой княгини находились игровая, спальни детей, а на стороне двора – классная и игровая комнаты.

На верхнем этаже дворца в 1897–1899 гг. по проекту архитектора Н.В. Султанова была обустроена и домашняя молельня.