П. П. Семенов-Тян-Шанский, знакомый с Достоевским с 1840-х годов, вспоминал: «В январе 1857 г. я был обрадован приездом ко мне <в Барнаул> Ф. М. Достоевского <…> По нескольку часов в день мы проводили в интересных разговорах и в чтении, глава за главой, его в то время еще неоконченных „Записок из Мертвого дома“, дополняемых устными рассказами».[35]
Воспоминания Врангеля и Семенова-Тян-Шанского написаны много позже происходивших событий, на них явно наложилось впечатление от прочитанного законченного произведения Достоевского. Аналогичных свидетельств, относящихся к семипалатинскому времени, не имеется. В этот период, возможно, были намечены и записаны Достоевским некоторые сюжеты, сценки, исповеди арестантов. Все это были только предварительные эскизы, замысел произведения не был еще оформлен. Достоевский не мог рассчитывать пока, что его записки о каторге могут быть опубликованы, не с этим он предполагал «вернуться в литературу». Правда, 26 августа 1856 г. Александр II под давлением давно накопившегося общественного недовольства был вынужден дать амнистию политическим ссыльным. Наметилось некоторое ослабление цензуры. Но лишь в конце 1859 г., когда уже была опубликована повесть «Дядюшкин сон» и писатель был озабочен осложнениями с публикацией «Села Степанчикова», a M. M. Достоевский усиленно советовал «напомнить» о себе публике чем-нибудь необычным,[36] Достоевский в письмах к брату впервые заговорил о замысле «Записок».
Во время встречи братьев Достоевских в Твери в августе 1859 г. Федор Михайлович поделился своими ближайшими замыслами. По возвращении в Петербург Михаил Михайлович высказал в письмах свои соображения о них: «. .ты теперь колеблешься между двумя романами, и я боюсь, что много времени погибнет в этом колебании. Зачем ты мне рассказал сюжет? Майков раз как-то давно-давно сказал мне, что тебе стоит только рассказать сюжет, чтоб не написать его. Милейший мой, я, может быть, ошибаюсь, но твои два больших романа будут нечто в роде „Lehrjahre und Wanderungen <Годы учения и странствия