Нельзя сказать, что во Всевобуче перед ним открылось неведомое ему поле деятельности! Весной 1918 года Николай Ильич участвовал в разработке декрета о Всевобуче. ВВИ постоянно инспектировала на местах работу его органов и помогала налаживать ее, детально анализировала руководство Всевобучем со стороны Всероглавштаба. В какой-то мере задачи военного обучения населения решались Н. II, Подвойским и на Украине. И все-таки первые дни ушли на знакомство с делами Главного Управления Всевобуча. Николай Ильич, изучая их, сразу по привычке прикидывал, где, на свежий взгляд, наиболее слабые места в работе, что нужно немедленно перестраивать, что можно впоследствии улучшить.

Всевобуч был своеобразным и очень крупным военным органом. В нем по 96-часовой программе без отрыва от работы проходили военную подготовку трудящиеся в возрасте от 16 до 40 лет. За годы гражданской войны эту подготовку прошли примерно 4 миллиона человек. К началу 1919 года на территории страны имелось 7 окружных, 37 губернских и 493 уездных отделов Всевобуча и 4616 бюро, в которых работало около 50 тысяч военных инструкторов. Управление Всевобуча входило во Всероглавштаб, однако из-за своеобразия работы Всевобуч обладал известной самостоятельностью.

Во время войны мужское население в силу необходимости осваивало военное дело непосредственно в частях Красной Армии. В условиях же мирного времени сокращенная Красная Армия не могла обучить в своих рядах всю подрастающую молодежь. Эту задачу в значительной мере должен был решать Всевобуч, что резко подняло его роль. В ноябре 1919 года Оргбюро ЦК РКП(б) рассмотрело вопрос о работе Всевобуча в новых условиях. Основной доклад был сделан Ф. Э. Дзержинским. Оргбюро решило укрепить его руководство и реорганизовать структуру. Территория страны делилась на дивизионные, бригадные и полковые округа Всевобуча, внутри которых создавались батальонные, ротные и взводные участки. Внутри этих структурных единиц были сформированы так называемые территориальные кадры (группы хорошо подготовленных профессиональных военных), которые осуществляли военное обучение населения и представляли собой кадровый костяк на случай развертывания подразделений и частей. К территориальным кадрам Всевобуча с целью их усиления были присоединены коммунистические части особого назначения (ЧОП), насчитывавшие в тридцати губерниях около 100 тысяч человек. Состояли они из коммунистов и комсомольцев и использовались на местах для подавления нередких тогда открытых вылазок контрреволюции.

Таким образом, ЦК РКП(б) поручил Н. И. Подвойскому руководство мощной, разбросанной по стране организацией, охватывавшей вместе с обучаемыми сотни тысяч людей. Николай Ильич в полной мере осознавал масштабы работы, ответственность, возложенную на него.