Портрет вполне понравился самому Валентину Александровичу Серову, но, вероятно, не удовлетворил высокородную заказчицу, решившую освободиться от своей парсуны, подарив ее какому-либо отечественному музею. Однако поставив при этом непременное условие, «чтобы ее изображение не находилось в одном демонстрационном зале со знаменитым портретом Иды Рубинштейн, также написанным живописцем В.А. Серовым».
В борьбе за портрет Орловой в ту пору активно принимали участие руководители двух ведущих музеев России – граф Д.И. Толстой – директор Эрмитажа и А.П. Боткина – наследница П.М. Третьякова, одна из завершительниц его знаменитого дела – московской галереи. В борьбе за портрет конкуренты апеллировали к помощи и мнению В.А. Серова, владелице портрета – княгине О.К. Орловой и даже к ее супругу – князю В.Н. Орлову. В процессе конкурсного противостояния администраторы знаменитых российских музеев использовали весь арсенал возможных средств, чтобы заполучить шедевр Серова: популярные патриотические аргументы, историческую необходимость и даже банальную лесть. В итоге длительного противостояния музеев двух столиц победу одержал Санкт-Петербург. Владелица картины княгиня О.К. Орлова передала свой портрет в петербургский музей императора Александра III (ныне – Государственный Русский музей).
В 1912 г. директор Эрмитажа и товарищ управляющего Музеем императора Александра III, граф Д.И. Толстой с почтением доложил на аудиенции императору Николаю II о том, что очередной шедевр живописца В.А. Серова демонстрируется в одном из залов Музея.
Сиятельная же «натурщица» этого музейного шедевра, княгиня Ольга Константиновна Орлова, продолжала еще целых пять лет оставаться первой модницей, самой элегантной женщиной императорской столицы, затмевая всех феерической роскошью парижских туалетов. В залах отреставрированного особняка на набережной Мойки княгиня по-прежнему устраивала роскошные балы и богатые приемы, не подозревая, что в 1917 г. ей и ее супругу придется в панике спасаться бегством из дома от захвативших власть большевиков.
После отъезда в Париж последнего владельца барского дома – князя Владимира Николаевича Орлова – старый особняк на набережной Мойки, вблизи Почтамтского моста некоторое время оставался бесхозным, а затем по решению руководителей советского Петрограда весной 1921 г. старинное здание приспособили под школу для подростков. Планировку дома основательно изменили, а уникальная отделка исторического особняка безвозвратно утеряна.