Описанный А. Н. Бенуа сад примыкал к особняку в Трубниковском переулке близ Поварской, который Надежда Петровна получила в качестве приданого. Так у Остроухова появился новый адрес и обязательная приписка на конверте: «Собственный дом».

«Редко вижусь с Семенычем, какая-то неловкость установилась между нами, хотя и принимаем друг перед другом тон непринужденности. Нет-с, обстановка и все такое много значат. Прежде я искал его сообщества, теперь нет. Не знаю, что будет потом. Притом его теперешняя, всегдашняя забота об устройстве дома как можно комфортабельнее и роскошнее положительно наводит на меня тоску. А дом, действительно, комфортабелен до неприятности», — пишет жене Серов. При серовской скромности — «в квартире ни ковров, ни тканей, нужных для живописи, ровно ничего, кроме нескольких жестких стульев стиля Жакоб и пианино, никаких украшений, нет даже картин на стенах» (так описывал квартиру учителя художник Н. П. Ульянов, которого в шутку называли «Серовым для бедных») — остроуховский особняк не мог не вызывать раздражения. Семнадцать комнат, «гостиная ореховая Людовик XVI», «спальня английская светлого дуба», зимний сад, два рояля, шесть экипажей и т. д.

Демократичный Серов, даже став необычайно популярным, продолжал выживать с трудом: приходилось давать уроки детям из богатых семей, не доставлявшие большого удовольствия («Преподавать вообще я не люблю — учеников, и бездарных и талантливых, всех не люблю»), писать заказные портреты, часто откровенно не симпатизируя своим моделям. Если раньше он писал тех, кто нравился, то теперь, поступив, по словам Николая Ульянова, в «общее пользование», вынужден был принимать заказы от «всяких людей». Ближайший же его приятель, получив за женой солидное приданое, оказывается в совершенно ином положении. Ему нравятся его новые родственники, нравится быть обеспеченным, нравится обставлять особняк, пить любимое «бордо», принимать гостей, устраивать музыкальные вечера, покупать картины и путешествовать.

Со временем в их отношения вновь вернется былая теплота, хотя каждый продолжит вести свой образ жизни. Окончательно помирит их работа в Совете галереи и вновь возникшая общность интересов. Их так и будут называть — «лагерь Остроухова — Серова». Остроухов, как и в молодости, будет заботиться о Серове, будет дневать и ночевать у постели больного друга после первого приступа его неизлечимой болезни, а после смерти в 1911 году возьмет на себя хлопоты по похоронам и постарается материально обеспечить большую серовскую семью. Шестнадцать работ художника, считавшего в бытность членом Совета неэтичным продажу своих картин, купит, благодаря стараниям Ильи Семеновича, возглавляемая им Третьяковская галерея.