В эти годы его нередко посещали Саровские иноки, а иногда и миряне; они приходили за советом, или наставлением, или просто, чтобы повидать его. Святой умел распознавать людей и их тайные мысли: от разговора с одними он уклонялся и встречал их молча, с другими беседовал охотно. Если же старец встречал кого-нибудь вне своей кельи, например, в лесу, то обыкновенно смиренно кланялся ему и, не вступая в беседу, удалялся молча. «От молчания никто никогда не раскаивался», — не раз говорил он впоследствии.

Каковы были подвиги святого в это время, мы можем только догадываться. Сам он рассказывал, между прочим, что принял на себя, по примеру древних отцов, подвиг столпничества. В лесу, на полпути от кельи к монастырю, лежал высокий гранитный камень. Ночью, никем не видимый, преподобный взбирался на него и, стоя на ногах или на коленях, молился, взывая к Богу: «Боже, милостив буди мне грешному». В своей пустыньке он также поставил небольшой камень и молился на нем с утра и до вечера, прерываясь лишь для недолгого отдыха и принятия скудной пищи. И так, в этом великом подвиге, преподобный провел тысячу дней и тысячу ночей. От такого невероятного напряжения сил и почти трехлетнего стояния на камне старец пришел в крайнее телесное истощение; на ногах его образовались болезненные язвы, и он вынужден был прекратить сей великий подвиг. Преподобный Серафим рассказал об этом своим ученикам лишь в конце жизни, незадолго до смерти; один из слушателей заметил тогда, что подвиг этот выше сил человеческих. На это преподобный отвечал: «Святой Симеон Столпник сорок семь лет стоял на столпе, а мои труды похожи ли на его подвиг?» Впоследствии эти молитвенные камни были разнесены паломниками на кусочки, и многие получали от них исцеления.

Осенью 1804 года преподобный подвергся жестокому нападению неких разбойников. Как оказалось впоследствии, то были крестьяне местного помещика Татищева. Злодеи напали на отшельника в лесу, когда тот рубил хворост, и стали требовать денег, полагая, что раз к нему приходят миряне, то он, должно быть, получает от них немалую мзду. Святой отвечал, что он ни от кого денег не берет. Тогда один из злодеев набросился на святого, но оступился и сам упал. У Серафима был в руках топор, и он, человек физически сильный, наверное, мог бы защитить себя от нападения. Но, вспомнив слова Христа: «Взявшие меч, мечом погибнут» (Мф. 26: 52), преподобный предпочел смириться. «Делайте, что вам надобно», — сказал он злодеям, опустив топор и сложив крестообразно руки. Один из злодеев, выхватив топор из его рук, с силой ударил его обухом по голове, так что из ушей и изо рта святого хлынула кровь. Потом его начали избивать обухом топора, поленом, ногами. Заметив, что он не дышит и сочтя его мертвым, злодеи связали ему руки и ноги, намереваясь бросить его в реку, чтобы скрыть следы своего преступления. Пока же они подтащили его к келье и ринулись туда в поисках сокровищ. Но напрасно они перевернули и переломали все в убогом жилище святого: они ничего не нашли, кроме икон и нескольких картофелин. Злодеи пришли в ужас, поняв, что они убили без всякой пользы для себя святого человека, и бросились бежать. Между тем преподобный пришел в себя. Кое-как развязав себе руки, он с трудом дополз до кельи, где провел всю ночь в жестоких страданиях. На следующий день с огромным трудом добрался до обители; вид его был ужасен: лицо, волосы, все тело в крови. Он ничего не отвечал перепуганной братии, но попросил к себе в келью настоятеля, старца Исайю, и духовника и рассказал им о том, что случилось.