Так протекли четыре года медленной и безутешной каторжной жизни Федора Михайловича. День за днем колесил он по дорогам и закоулкам у валов крепости и в молчании таил под двухцветной курткой с желтым тузом свой изнуренный, хоть и не сдающийся дух. Лицо стало у него бледно-серое, испитое. Он исхудал. Брился он редко. Беспорядочно отрастала небольшая борода. Шапку свою он носил на лоб, до самых бровей. Удивительно много молчал и менее всего общался с Сергеем Федоровичем, как бы не желая напоминать себе и ему о прошлом и предпочитая вынести положенную каторгу в строжайшем и непроницаемом уединении.

В острожной казарме многие сторонились его, а про себя все смутно подозревали в нем некое величие мысли и благородство поступков. Оттого общее мнение было таково, что трогать его нельзя, и только уж слишком озорные не переставали тыкать пальцами, обзывая дворянчиком и белой ручкой. Федор Михайлович старался не замечать их злобы, но в своем затишье и угрюмости немало страдал, видя все зашибленные места в душах окружавших его людей и мысля всех их простить и даже полюбить. И многих из них, сломленных жесточайшими обстоятельствами жизни, он полюбил и даже восхитился ими.

В труднейшие минуты он старался проникнуть к Александру Степанычу. У того он забывался в мечтах. И чем ближе становился день освобождения, тем больше мечталось. При мысли о том, что вот-вот он вырвется уже из ворот крепости и хоть солдатом станет, а все же будет уже  ч е л о в е к, — он оживал и уносился в свои будущие дни. А там… Там он накопит себе фортуну и заблестит на петербургском горизонте — в качестве сочинителя и пропагатора великих (непременно великих!) помыслов. Он скажет: будьте людьми среди людей. Вот идея! Идея не новая, но он докажет ее совершенно заново и тем победит всех сомневающихся и напомнит о том, что именно это он и никто другой написал знаменитое сочинение о «бедных людях».

Размышляя об этих бедных людях, Федор Михайлович всегда натыкался в мыслях на Михаила Ивановича. И никто так не околдовывал сейчас его логику, ни Степан Дмитрич, ни Василий Васильевич, раздиравшие его некогда на части, — как именно он, Михаил Иванович. Вот сейчас он блуждает и где-то скрывается — не то в городе, не то в степи, не то в деревнях… И, наверно, свою жену взял с собою. И будет защищать себя до конца. А сколько таких бродит по свету?! А сколько родилось таких и сколько родится? Люди страждут, бедствуют, тревожатся и бунтуют. Как уравновесить этот мир? Каким елеем примирить враждующие сословия и нации?

Эти чрезвычайные вопросы потянулись у Федора Михайловича один за другим — и уже на всю жизнь. И он всечасно и неразлучно пребывал с ними, с этими вопросами об уравновешении мира.