Отец графа Владимира Александровича Стенбока-Фермора, граф А.И. Стенбок-Фермор, начал свою военную карьеру в Гродненском гусарском полку в 1828 г., а в 1833 г. был переведен в лейб-гвардии Конный полк. Через 3 года он вышел в отставку и стал служить чиновником Министерства финансов. В 1835 г. граф женился на Надежде Алексеевне Яковлевой, правнучке богатого уральского заводчика Саввы Яковлева. Мать Владимира Александровича Стенбока-Фермора – Надежда Алексеевна Яковлева – числилась одной из богатейших женщин Санкт-Петербурга, ее личное состояние в 1897 г. составляло более 40 миллионов рублей…

Владимир Александрович Стенбок-Фермор (1847–1896) – воспитанник Императорского лицея, участник Русско-турецкой войны 1877–1878 гг., после отставки из лейб-гвардии Конного полка в 1879 г. женился на Марии Александровне, урожденной графине Апраксиной. Кроме значительного числа доходных домов в Петербурге, граф Владимир Александрович Стенбок-Фермор являлся с декабря 1866 г. владельцем Лахты – огромной дачи под Санкт-Петербургом с 4564 десятинами земельного участка. После приобретения этого пригородного имения граф Владимир Александрович построил на нем на берегу Финского залива большой каменный дворец, вокруг которого тогда разбили замечательный пейзажный парк, общей площадью в один гектар. Лахтинский дворец графа В.А. Стенбок-Фермора, больше известный под названием «Охотничий замок», возвел архитектор А.И. Кузнецов, он использовал при проектировании огромного здания элементы, господствовавшие в зодчестве второй половины XIX столетия – необорокко со множеством уступов и резных фасадных украшений. Величественная башня здания с флагштоком придавала дворцу В.А. Стенбок-Фермора сходство со старинным аристократическим замком. Внешний вид здания полностью соответствовал его роскошной внутренней отделке и убранству.

Этот же талантливый зодчий был автором проекта главного городского семейного дома графа Владимира Александровича в Санкт-Петербурге на Тучковой набережной, 12 (позже набережной Макарова).

Во второй половине 90-х годов XIX столетия приобретенный графом В.А. Стенбок-Фермором шуваловский особняк на набережной Мойки, 90/1, арендовал отставной поручик лейб-гвардии Конного полка, князь Владимир Николаевич Орлов (1868–1927), разместившийся в старинном особняке со своей молодой супругой Ольгой Константиновной, урожденной княжной Белосельской-Белозерской.

Князь Владимир Николаевич Орлов был правнуком Федора Григорьевича Орлова – сподвижника императрицы Екатерины II и внуком государственного деятеля князя Алексея Федоровича Орлова, активного участника подавления восстания декабристов, фаворита Николая I, назначившего своего любимца шефом жандармов (1844–1856 гг.). Длительное время князь Владимир Николаевич входил в число наиболее доверенных лиц императора Николая Александровича и его супруги Александры Федоровны, занимая должность руководителя канцелярии главной квартиры царского двора.