Между тем в семье Поленовых было далеко не так радостно и светло, как в усадьбе Борок. В 1895 году умерла Мария Алексеевна. Ей было уже 84 года. Но смерть матери всегда тяжела, сколько бы ей ни было лет и сколько бы лет ни было сыну (в 1895 году Поленову был 51 год).
А в 1898 году умерла Елена Дмитриевна. Она упала с пролетки и ударилась головой. Началась болезнь мозга. Она страдала два года. За пять лет до этого несчастья она начала организацию народно-исторических выставок при Московском товариществе художников, готовила две исторические картины: «Видение Бориса и Глеба воинам Александра Невского» и «Убиение царя Бориса», а также картину «Масленица». Но докончить начатые картины не удалось. «Пишут не руками, а головою», – говаривал Микеланджело. А голова не давала возможности писать. В августе 1898 года у нее началась, как пишет Наталья Васильевна, «мозговая рвота». Пришлось поместить ее в психиатрическую лечебницу доктора Токарского. 7 (20) ноября 1898 года Елены Дмитриевны не стало. Похоронили ее, как и всех Поленовых, на Ваганьковском кладбище.
Стасов был горячим почитателем таланта Елены Дмитриевны (не меняя в то же время своего мнения о ее брате). Он долгое время состоял с ней в переписке и в мае 1900 года в журнале «Искусство и художественная промышленность» опубликовал ее биографию.
«Она далеко не успела всего того, – писал Стасов, – к чему, казалось бы, способна ее натура, к чему приготовила ее горячая любовь к России, к русскому народному творчеству, к русскому художественному содержанию и красоте, но сделанное ею так оригинально, так могуче, так своеобразно и ново, что, наверное, никогда не погибнет и навсегда останется памятником несравненного русского женского творчества XIX века. Раньше нее ни одна русская женщина не задумывала и не выполняла в художестве того, что она задумала и выполнила. Она показала, чего еще можно и должно ждать от будущих русских женщин-художниц».
А в декабре 1902 года умерла Маша Якунчикова; умерла совсем молодой, ей едва исполнилось тридцать два года. Последние десять лет она жила за границей: у нее открылся туберкулезный процесс, и она проводила зимы в Париже, а летние месяцы – в Швейцарии. Осенью 1896 года она вышла замуж за доктора Вебера. С этого времени ее работы экспонируются под двойной фамилией: Якунчикова-Вебер.
Она очень болезненно восприняла весть о смерти Елены Дмитриевны, но вот и самой ей недолго осталось жить. Она ушла вслед за Еленой Дмитриевной, которая была ее ближайшим другом, пережив ее всего на четыре года.