Однако, не сумев «сработаться» с новым императорским фаворитом Григорием Распутиным, князь Владимир Николаевич на следующий же день после ссоры с этим политическим авантюристом внезапно лишился своей должности во дворце и многолетнего императорского доверия. По поручению Николая II и царицы сиятельному князю вежливо объявили, что «…ее Императорское величество более не желают его видеть».
Приятель князя Владимира Николаевича Орлова – генерал-лейтенант А.А. Мосолов, назначенный на вакантную должность начальника канцелярии Императорского двора, называл своего предшественника «…человеком культурным, но любившим, к сожалению, острое словцо».
Оставшись не у дел, князь Владимир Николаевич, весьма состоятельный человек, занялся своим хозяйством, купил в 1906 г. у графа Владимира Александровича Стенбок-Фермора арендуемый у него дом на набережной Мойки, 90/1, заново отделал и меблировал его. Тот же генерал-лейтенант Мосолов, навестив своего приятеля в доме на Мойке, после ремонта особняка отметил в своих воспоминаниях: «…особняк по внутренней обстановке походит на музей. У супруги собирались дипломаты и дамы, щеголяли в платьях от лучших портных Парижа». Время опальный князь прекрасно скрашивал своим фанатичным увлечением автомобилями. Поговаривали даже, что «…князь В.Н. Орлов являлся горячим поборником идеи автомобилизма и якобы принял на себя функции личного шофера великих князей».
Супруга князя Орлова – Ольга Константиновна (1872–1923) – всегда изысканно одевалась и являлась признанной законодательницей мод петербургского бомонда. В любое время элегантно одетая, первая модница Северной столицы, Ольга Константиновна величественно отодвигала петербургских дам высшего света на второй план безумной роскошью и необычностью своих многочисленных парижских туалетов. Княгиня Орлова, в девичестве княжна Белосельская-Белозерская, была не только родовитой, но и весьма богатой дамой. Ее батюшка, князь К.Э. Белосельский-Белозерский, являлся потомком древнейшего дворянского рода Рюриковичей – русской княжеской и царской династии, в том числе великих князей киевских, владимирских, московских и русских царей. Последним правителем этой династии стал русский царь – сын Ивана IV Грозного – Федор Иванович. Мать-княгиня была родной сестрой знаменитого генерала Михаила Дмитриевича Скобелева.
Современники считали княгиню О.К. Орлову «…самой элегантной женщиной Петербурга». В столице о ней распространялись самые невероятные истории, слухи и бесконечные рассказы о ее безумных тратах на туалеты и шляпы. «Санкт-Петербургские ведомости» отмечали: «Княгиня Орлова была, несомненно, самой выдающейся фигурой петербургского большого света. И хотя она не была красавицей, но выглядела до того грациозно, что ее невозможно было не заметить в обществе. И действительно, княгиня была наделена пусть жестковато-холодной, но грациозностью, пусть предстающим как бы на постаменте, но благородством, пусть несколько угловатым, но изяществом. Гордо посаженная голова на красивой шее, как будто бы нелепая шляпа, ампирный стиль в обстановке и модерн в одежде княгини».