После разорения пустыни глинские старцы частью отправились в Троице-Сергиеву лавру, частью — в Почаев; кто-то оказался в Одессе и Тбилиси. А некоторые нашли приют в Абхазии, где сильны были традиции тайной монашеской жизни в отшельничестве. Там образовалось сразу несколько таких общин — в Цебельде, Амткеле, Двуречье, Азанте. Пустынники находились в горах по благословению епископа Степанованского Зиновия (Мажуги, в прошлом тоже глинского монаха) и с ведома католикоса-патриарха всея Грузии Ефрема II. А руководил общиной схиигумен Серафим, поселившийся сначала в приморском городке Очамчира, а потом в Сухуми, на улице Казбеги (ныне Черкесской).
Положение общины в Абхазии было очень опасным. Согласно приказу из Москвы сотрудники КГБ и милиции время от времени устраивали на отшельников настоящие облавы — горы облетали на вертолетах, куда монахов заталкивали силой, а потом судили их за тунеядство. Приходилось строить келии под кронами пихт, так как зимой дым костров, разведенных под этими деревьями, рассеивался и монахов нельзя было выследить. К старцу Серафиму они приходили в город на исповеди только по ночам.
Краткие, на несколько дней, визиты к о. Серафиму в течение 1962–1965 годов были для о. Иоанна настоящими праздниками. Он бывал у старца и один, и вместе с о. Виктором Шиповальниковым и его семьей. Останавливались на даче владыки Ефрема, сопровождали о. Серафима утром на службу в Благовещенский кафедральный собор и наслаждались каждой минутой общения. Неоднократно бывали и в Команах — селе, расположенном в получасе езды от Сухуми. Там, следуя в ссылку, скончался в 407 году святитель Иоанн Златоуст (его гробница до 1990 года хранилась в Сухуми), а четыре с половиной века спустя произошло третье обретение главы Иоанна Крестителя. Там о. Иоанн служил литургии на переносном престоле вместе с монахом Вонифатием.
Нечасто, но случались и ответные визиты о. Серафима в Касимов. Благодати, которой можно было напитаться от глинского старца, хватало на целый год. Правда, летом 1965-го в Сухуми о. Серафим вместо обычной приветливой встречи сурово нахмурил седые брови, завидев священников с Рязанщины:
— А что это вы к нам приехали?
О. Иоанн и о. Виктор смутились:
— В отпуск… Отдыхать.
— Приехали отдыхать, а сами небось опять будете с утра до вечера трудиться со мной в храме? — усмехнулся о. Серафим. — А ну шагом марш на море!
Конечно, наказ старца выполнили. Для купания облачились в белые кальсоны, белые балахоны, длинные волосы заплели для удобства в косички. В таком экзотическом виде оба отца сидели в воде у самого берега (плавать ни тот ни другой не умели), шлепали ладонями по волнам и беседовали. О. Виктор говорил с другом громко, а о. Иоанн по привычке, оставшейся с лагеря, возражал ему вполголоса. «И вот они сидят рядом, папа что-то там говорит громогласно, а отец Иоанн — „ну, Витечка…“, и ничего не слышно. И ладошками так плюх-плюх. Два дитяти таких сидели, два совершенно невинных существа, ангелоподобных», — с юмором вспоминал сын о. Виктора Алексей.