Некоторое время Пётр Афанасьевич относительно спокойно жил у брата, занимаясь лошадьми, однако долго усидеть на месте не смог — теперь его тревожили события в Герцеговине. Фет писал Толстому 4 апреля 1876 года: «Брат, взявший у меня 1000 рублей, в моём пальто и фуражке, без белья и платья, а главное паспорта, уехал снова в Герцеговину...»⁵⁰⁵ Некоторое время спустя приятель, которого Пётр Афанасьевич просил быть «передаточным пунктом корреспонденции», сообщил, что «брат купил себе верховую лошадь и испросил... на смотру в Белой Церкви, как милости, у Его Имп[ераторского] Высочества Главнокомандующего дозволения поступить волонтёром в казаки. Таким образом он и поступил в казачий полк рядовым»⁵⁰⁶.

Через известного славянофила Ивана Сергеевича Аксакова, возглавлявшего тогда московский Славянский благотворительный комитет, организовывавший помощь повстанцам, Фет в конце апреля 1876 года узнал и сообщил Толстому в письме от 27 апреля, что у брата «добрые люди отобрали 400 рублей в запас, а остальные он раздал повстанцам и сам ушёл в банду, одевшись сообразно». 17 июня он вернулся, «загоревший и избивший по камням руки и ноги»⁵⁰⁷, сообщал Фет 20 июня в письме Толстому, очень заинтересовавшемуся приключениями Петра Афанасьевича в Герцеговине. Пыл его не охладел — в качестве волонтёра Пётр Афанасьевич принял участие в войне сербов с турками (1876), где был ранен и попал в госпиталь в Белграде, и в Русско-турецкой войне. После недолгого пребывания в России он отправился в Вену, сопровождая сестру Любиньку на операцию. «А затем в одно прекрасное утро номер его оказался оплаченным и пустым, а он неизвестно куда скрылся. Я вспомнил, как однажды... он шутя сказал: “уж куда мне теперь — и не знаю. Не махнуть ли в Америку?”»⁵⁰⁸, — вспоминал Фет.

Ещё одним источником радостей и забот были племянники. Петя Борисов продолжал радовать и подавать надежды: в 1876 году он поступил на историко-филологическое отделение Московского университета, учился блестяще и в 1879-м отправился в Германию слушать лекции сначала в Гёттингенском, а затем в Йенском университете. С племянницей же Фет потерпел фиаско. Почти тайно увезённая из пансиона Оля четыре года провела в Степановке, окружённая заботой и вниманием. По достижении ею восемнадцати лет Фет стал делать то, что положено отцу: вывозить девушку в местный «свет» в поисках удачной брачной партии. Однако в 1877 году во время одной из совместных поездок в Москву Оля часто встречалась с младшей сестрой Эвениус, которая после смерти старшей содержала пансион, и, видимо, сговорившись с ней, под предлогом болезни осталась в городе. Фет вспоминает: «К общему удивлению домашних, я вернулся в деревню один. Через неделю прибыло письмо Оли с просьбою о продлении пребывания в Москве, — исполненное любезных ласк и извинений. Затем письма стали приходить всё более короткие и формальные, из которых я убедился, что усердные руки содержательницы пансиона уже не выпустят неопытную девочку. Роковое письмо не заставило себя ждать: оно уведомило, что Оленька остаётся в Москве. Конечно, я в тот же день отвечал, что ни опекуном, ни попечителем племянницы быть не желаю и прошу указать личности, которым я могу сдать всё её состояние»⁵⁰⁹. Дядя и племянница помирились только в январе 1880 года. В 1882-м Ольга вышла замуж за Николая Павловича Галахова, впоследствии орловского вице-губернатора; Фет с Марией Петровной поддерживал с племянницей и её мужем вполне тёплые отношения, однако считал её «пустоцветом».