Самую продолжительную беседу с отцом Амвросием Лев Толстой имел при посещении Оптиной пустыни в третий раз, в 1890 году. За эти пятнадцать лет Толстой стал другим. В первый свой приезд писатель был воодушевлен:
В третий же свой приезд Толстой демонстрировал уже сильную неприязнь к Амвросию и даже называл его «жалким своими соблазнами до невозможности». После смерти Амвросия граф продолжал приезжать в Оптину, но уже к старцу Иосифу. Привязывал коня у скитской ограды и, не заходя ни в скит, ни в монастырь, шел на беседу со старцем, чтобы поспорить с ним о вере. За несколько дней до своей смерти, в 1910 году, Толстой, уже отлученный от церкви официально, все же отправится в Оптину, но зайти уже не решится, протопчется у ворот скита и уедет. Когда в пустыни были извещены, что Толстой умирает, к нему по поручению Синода был направлен старец Варсонофий.
Однако по приезду Варсонофия в Астапово родственники (в частности, дочь Толстого Александра Львовна) не допустили старца к умирающему писателю и даже не известили Толстого о его приезде. В своих воспоминаниях Варсонофий жаловался:
Варсонофий был последним старцем Оптиной, которого благословил на постриг Амвросий. Он происходил из семьи миллионеров – настоящая имперская золотая молодежь: балы, театры, все доступные развлечения, но в юности увидел отрезвляющий сон. Ему явился старец и спросил: «Который час?» – «Полседьмого!» – «Ты умрешь через три года». Проснулся – на часах полседьмого. Ровно через три года в ожидании смерти этот человек отправился в церковь, там исповедовался, причастился и действительно умер – внутренне, для мира. С той поры он тосковал и думал о монашестве. Только впереди был еще огромный путь, попытки жениться, служба в армии – он дослужился до полковника! В Оптину он пришел в последний год жизни старца Амвросия. Варсонофий и сам стал великим прозорливым старцем. Читать его советы сегодня – одно удовольствие: явно, что говорил человек, умеющий обращаться к элите общества и сам когда-то считавшийся ею.