Олю же будущий опекун до того практически не видел — она воспитывалась в московском частном пансионе госпожи Эвениус. Однако теперь Фет счёл своим долгом посетить племянницу в пансионе и «нашёл её с воспалёнными глазами и золотыми браслетами на руках»⁴⁷⁷. Озабоченный её образованием, он решил проверить её успехи в учёбе, но хозяйка пансиона почему-то решительно этому воспротивилась. Тогда Фет властью опекуна потребовал привезти Олю в Степановку в июле 1871 года, чтобы проэкзаменовать её. Девочка приехала в сопровождении классной дамы. Фет остался крайне недоволен результатом «экзамена» и решил забрать племянницу из пансиона. Пришлось преодолеть отчаянное сопротивление её самой и её наставницы. Возможно, именно сложившиеся между ними странные отношения — чрезмерная взаимная привязанность (Фет в мемуарах прямо называет её влюблённостью), а не только слабая учебная подготовка, заставили поэта решительно вмешаться в ситуацию. Привезя Олю в Степановку, он нанял ей гувернантку, сам стал преподавать ей историю и географию, стараясь сделать занятия максимально нескучными, и об успехах с удовольствием сообщал в письмах Толстому. Фет относился к Оле как к дочери, заботился о её здоровье: она страдала золотухой (так тогда называли экссудативный диатез), и опекун отправлял её на воды в Славянск, считавшийся лучшим местом для лечения этой болезни.

Ещё одно опекунство Фета миновало. В начале 1872 года скоропостижно скончался его зять Александр Никитич Шеншин, и овдовевшая Любовь Афанасьевна обратилась к брату с просьбой взять под опеку её единственного сына Владимира, так же, как Петруша Борисов, находившегося в катковском лицее. В первом же разговоре тот проявил себя совершенно чуждым дяде: «Приехавший ещё к завтраку 16-ти летний Ш[еншин] — не преминул блеснуть своею возмужалостью перед Петей и Олей и рассказал, что он, к сожалению, не может одновременно с Петей возвратиться в лицей, так как должен быть шафером у М-llе М-ой и к этому дню должен заказать себе фрак и три пары перчаток. Одну — чтобы держать венец, другую — чтобы наливать шампанское, а третью — для танцев». После того как сестра выразила просьбу об опеке, Фет обратился к племянничку: «Никакого фрака и особенных перчаток тебе не нужно, а поедешь ты одновременно с Петей в катковский лицей». На следующий день Любовь Афанасьевна передумала, и «в начале августа Петя и Оля уехали в Москву, а Володя остался заказывать фрак и покупать перчатки к предстоящему шаферству»⁴⁷⁸. Намного позднее — 16 января 1880 года — Фет писал Льву Толстому: «...Гадкий мой племянник для меня гадок, как неопрятное животное, и я никогда не приближу его ко мне, т. е. не допущу до своей сферы»⁴⁷⁹. Володя стал для Фета воплощением тех качеств, которые он ненавидел в дворянстве и которые, был уверен, неизбежно приведут это сословие к моральному и материальному банкротству. Кажется, в этом случае так и получилось — в письме Софье Андреевне Толстой от 23 января 1888 года Фет называет племянника «промотавшимся».