Тихий, смиренный, скромный о. Иосиф казался своим защитникам не способным сам себя отстаивать. В его жизнеописании указано, что еще при жизни старца Амвросия в бытность его в Шамордине прошел слух, будто о. Иосифа хотят выселить из хибарки о. Амвросия. Ему советовали поехать жаловаться Старцу. Однако о. Иосиф отнесся к этим слухам бесстрастно. Эти советы и были началом последующих интриг против скитоначальника о. Анатолия.

Когда же скончался о. Амвросий, эти защитники о. Иосифа нашли способ восстановить епархиального архиерея против о. Анатолия. Из-за того же непонимания природы старчества епископ Виталий не мог судить о духовности о. Анатолия и испытывать к нему уважение подобно епископу Игнатию (Брянчанинову), беседовавшему с ним об умно-сердечной молитве. Он поверил клевете и отстранил о. Анатолия от старчествования в Шамордине и даже запретил ему въезд в обитель.

Батюшка о. Анатолий очень тяжело переживал это запрещение. Выедет, бывало, на большую дорогу до того места, откуда видна Шамординская обитель, и велит кучеру остановиться; посмотрит в ту сторону, слезы потекут из глаз, и велит ехать обратно. Отец Анатолий преставился вскоре после о. Амвросия, в 1894 году.

Когда старца Анатолия не стало, положение его ближайших учеников оказалось нелегким. Отец Варсонофий ушел в затвор. В течение десяти лет он занимался изучением святоотеческой литературы и молитвой Иисусовой. В это время его духовником был о. Нектарий, который так же, как и он, в свое время был духовным сыном старца Анатолия. Об этом о. Нектарий свидетельствует сам в жизнеописании о. Амвросия357. Между ним и о. Варсонофием сохранилась близость до конца жизни.

Когда началась японская война, о. Варсонофий был отправлен на фронт в качестве священника при лазарете имени преподобного Серафима. Как довелось слышать, в Скиту опасались этого умного, образованного и способного быть властным человека. Другой ученик о. Анатолия, о. Венедикт, из белого духовенства, был назначен настоятелем Боровского монастыря358.

Сохранилось в «Прибавлениях к Церковным ведомостям» «Письмо Оптинского иеромонаха Варсонофия с Дальнего Востока на имя Преосвященного Вениамина, епископа Калужского»:

«Охраняемые Божественною благодатью и покрываемые вашими святительскими молитвами и архипастырским благословением, все мы, пятеро калужских иеромонахов, благополучно прибыли 1 мая в город Харбин и ожидаем указаний о дальнейшем нашем назначении из главной квартиры в Ляояне.

В Москве мы все явились к господину прокурору Московской синодальной конторы и, получивши деньги на путевые расходы, а также и документы, выехали из Москвы 13 апреля. Каждому из нас выдан был ящик с церковною утварью и облачением — походные церкви. Выдали также святые антиминсы, миро и освященный елей.