По смерти старца Исайи преподобный, не изменяя своего образа пустыннической жизни, возложил на себя новый тяжкий подвиг — молчальничество. Кто бы ни приходил к нему в пустынь, старец не выходил навстречу. Если ему приходилось встретить кого-нибудь в лесу, он падал ниц на землю и не поднимал головы до тех пор, пока встречный не проходил мимо. В таком безмолвии преподобный провел около трех лет. В конце этого срока он из-за болезни ног даже перестал посещать Саровскую обитель по воскресным и праздничным дням. Раз в неделю один из иноков приносил ему пищу — немного хлеба или капусты; потупив голову и не глядя на пришедшего, старец принимал принесенное и не говорил ни слова.

Среди братии нашлись недовольные тем, что преподобный удалился от монастыря. Настоятель обители отец Нифонт, «муж богобоязненный и добродетельный и в то же время великий ревнитель устава и порядков церковных» (слова Жития), также выражал недовольство тем, что старец не принимает причащения в монастырской церкви. Был созван собор из старших иеромонахов, которым представили на разрешение вопрос относительно причащения старца Серафима. Старцы решили предложить преподобному, если он здоров и крепок ногами, по-прежнему приходить в обитель по воскресным и праздничным дням для причащения Святых Таин; если же ноги не служат ему (а после трехлетнего стояния на камне так оно и было), он должен перейти на жительство в монастырскую келью. Брат, носивший по воскресным дням пищу святому, передал ему решение монастырского собора. В первый раз старец ничего не ответил. Тогда, спустя неделю, брат повторил соборное распоряжение. В ответ преподобный благословил инока и вместе с ним отправился пешком в обитель. Это случилось 8 мая 1810 года. Преподобному было пятьдесят лет от роду.

По возвращении в монастырь после пятнадцатилетнего пребывания в пустыни начался новый подвиг преподобного — затворничество. 9 мая, в день перенесения мощей святителя Николая, старец Серафим причастился в больничной церкви святых Зосимы и Савватия Соловецких и, взяв благословение у настоятеля Нифонта, поселился в прежней своей монастырской келье. При этом он никого не принимал к себе, никуда не выходил и не говорил ни с кем ни слова. В келье своей он не держал ничего, даже самых необходимых вещей: лишь икона Божьей Матери, пред которой всегда горела лампада, да обрубок пня, заменявший ему стул, составляли всю его обстановку. Старец не употреблял даже огня. Он носил ту же одежду, что и в пустыни. Под рубашкой на груди у него висел большой пятивершковый железный крест, который старец именовал «веригами». Но собственно вериг и власяницы он не носил. «Кто нас оскорбит словом или делом, — говорил он впоследствии, — и если мы переносим обиды по-евангельски — вот вериги нам, вот и власяница. Эти духовные вериги и власяницы выше железных». Пил преподобный одну только воду, в пищу же употреблял лишь толокно и белую квашеную капусту. Воду и пищу приносил ему живший по соседству инок Павел. В течение всех лет затвора во все воскресные и праздничные дни старец причащался Святых Таин, приносимых ему прямо в келью из больничной церкви. Чтобы не забывать о часе смертном, он попросил поставить в сенях своей кельи гроб, выдолбленный им самим из цельного дуба.