После эвакуации для Елисеева начинается череда понижений. Сначала он был назначен помощником командующего Балтийским флотом по береговой обороне и комендантом Кронштадтской военно-морской базы, затем через десять дней — только комендантом Кронштадтской военно-морской базы. Через полгода в апреле 1942-го он становится начальником Научно-испытательного морского артиллерийского полигона, а в декабре того же года без объяснения причин снят с должности. Страх ареста в то время для многих был выше страха смерти. 22 декабря 1942 года Елисеев застрелился из табельного оружия.

Причина, по которой генерал взял с собой начальника службы тыла, скорее всего, простая. Понимая, что в Ленинграде ему придется дать полный отчет об организации обороны, генералу нужен был живой свидетель, который мог бы подтвердить необходимость и своевременность тех или иных приказов. В этой связи Нефедов подходил по всем статьям. Во-первых, его отсутствие на Даго не сыграло бы решающей роли в обороне острова. Во-вторых, руководить Нефедову было практически нечем. Тыла на Моонзунде больше не существовало.

Нефедов вылетел в осажденный Ленинград 8 октября. Началась новая страница его боевой биографии. О героической обороне и падении Даго он узнал уже из новостей, скупо поступающих в осажденный город.

Два месяца Нефедов провел в Ленинграде, об истории его назначений за этот период нам неизвестно. Он достаточно активно вел свои записи, но в них нет ни слова о планах и новой работе. Он с тревогой размышлял об усиливающейся милитаризации Японии, угрозах Советскому Союзу на восточном направлении, о наступлении немцев под Москвой. О нехватке продуктов в Ленинграде писал скупо, больше о немецких бомбежках.

В это же самое время подготовка к организации перевозок по льду Ладоги шла полным ходом. Достаточно сказать, что в период с 6 по 9 ноября было составлено пять (!) проектов Постановления Военного совета Ленинградского фронта «О постройке ледяных дорог через Ладожское озеро». В каждом из проектов корректировалось направление движения транспорта по льду озера. Наконец 13 ноября был подписан приказ начальника тыла Ленинградского фронта «Об организации постройки ледяной дороги по водной трассе мыс Осиновец — маяк Кареджи».

Дорогу было решено делать шириной не менее десяти метров, с обязательными пунктами обогрева, медицинской помощи и питания по пути следования колонн автотранспорта. «К работе по устройству ледяной дороги, — говорилось в приказе, — приступить с 14 ноября с. г., произведя усиление льда путем искусственного намораживания с учетом окончания ее постройки одновременно с ледоставом». 19 ноября вышел приказ войскам Ленинградского фронта «Об организации автотракторной дороги через Ладожское озеро». Строительство дороги было возложено на начальника Автодорожного отдела военинженера 1-го ранга В. Г. Монахова, но непосредственно руководил постройкой военинженер 3-го ранга Б. В. Якубовский, которому были подчинены 165-й строительный батальон, 88-й отдельный мостостроительный батальон, снегоуборочная техника.