В 1930 году его откомандировали на учебу на Курсы по усовершенствованию высшего начальствующего состава, которые он успешно окончил в следующем году, после чего в апреле 1931 года возглавил сначала 7-й сектор 1-го управления, а в октябре 1932-го — 3-й сектор 3-го управления УВМФ. Затем он учился на основном курсе Военно-морской академии РККА им. К. Е. Ворошилова и в 1935 году сдал выпускные экзамены. В конце 1930-х годов он был назначен начальником 4-го отдела Разведывательного управления РККА. 4-й отдел — это военно-морская разведка. Тогда же ему было присвоено звание капитана 2-го ранга.

Столь яркий взлет, от агитатора до начальника военно-морской разведки, безусловно требует отдельного исследования. К сожалению, белых пятен в довоенной биографии Нефедова предостаточно. Крайне сложно, например, объяснить тот факт, что с марта 1938-го по июнь 1939 года Нефедов занимает должность заместителя начальника разведывательного отдела ВМФ, а в июне 1939 года — резкое понижение, практически вывод в тираж — его назначают всего лишь старшим преподавателем кафедры тактики Высшего военно-морского училища им. М. В. Фрунзе в Ленинграде. В чем причина такого падения? Клевета? Доносы? На сегодняшний день нам это неизвестно.

Но стоит отметить, что понижение было временным. Такими кадрами, как Нефедов, не разбрасываются. В июне 1939 года он поступил в распоряжение наркома ВМФ СССР и получил назначение начальником группы контроля при наркоме. Теперь он занимался инспектированием частей и военно-морских учебных заведений, контролировал ход строительства военно-морских объектов. Возможно, именно нарком Н. Г. Кузнецов и вывел его в тень, когда в армии и на флоте началась печально известная чистка кадров 1937–1939 годов.

Мы бы ничего не узнали и о военном периоде его биографии, если бы не записные книжки, которые он регулярно вел с 22 июня 1941 года. Нам открывается человек умный, твердый, жесткий руководитель, требовательный к самому себе, к своим подчиненным и к вышестоящему руководству. Не прощающий слабости и ошибок. Не боящийся критиковать различные решения и приказы командования. Но в то же время спокойный, выдержанный, не склонный к паникерству, горячо любящий свою Родину, преданный партии и делу Ленина, умный, тонко чувствующий, интеллигентный.

В день начала войны Нефедов записывает в своем дневнике: «22.06.41 г. Страница перевернулась. Еще вчера планировали целый ряд мероприятий, в каждой семье, в каждом уголке мирно трудились. Все чувствовали войну, но думали, что она придет попозже. Сегодня все планы радикально изменились. Фашистские изверги вероломно напали на нашу Родину. Надо всеми средствами и силами защищать, иначе станем рабами этих оголтелых зверей. Мирные планы должны быть отложены. Суровый лик войны глянул в каждый дом, в каждое село, город, фабрику — и все должно быть подчинено этому суровому, но важному для нас делу защиты Родины — отечественной войне против этих мракобесов. Теперь мы должны исходить из одного плана как можно скорее и победоноснее разгромить германских фашистов.