Думается, что произошло все это не случайно. Личные контакты Подвойского с Троцким возникли осенью 1917 года, когда Троцкий стал председателем Исполкома Петроградского Совета. Тогда встречи их были редкими и носили сугубо деловой характер, связаны были с подготовкой ВРК к вооруженному восстанию. Когда Троцкий возглавил Наркомат по военным делам, они стали работать в одном ведомстве, однако, надо сказать откровенно, отношения у них не складывались. И дело тут было не в личной неприязни, а во взглядах, в стиле работы. В частности, Н. И. Подвойский считал, что в военном управлении должен осуществляться ленинский принцип централизма на основе партийности, опоры на коллективное мнение при строжайшем единоначалии и персональной ответственности руководителя. «Я всегда стремился, — писал Н. И. Подвойский, — выучить работников действовать в коллективе, от имени коллектива, с коллективом, под контролем коллектива». Троцкий же насаждал, опираясь на военспецов, бюрократический централизм, основанный на принуждении и голом администрировании, на вере в силу приказа, директивы, бумаги. Н. И. Подвойский считал, что аппарат должен организовывать работу, учить, вести людей за собой. Троцкий же предпочитал с помощью аппарата командовать делом. Инициативный, переполненный идеями, волевой Подвойский не вписывался в стиль Троцкого, мешал ему сначала с Высшей Военной Инспекцией, а потом с вырывающимся, как и ВВИ, из рамок военного ведомства Всевобучем. Никакого желания оставлять Подвойского в Наркомате по военным делам у Троцкого не было — слишком беспокойная личность. И Троцкий отказался от всяких контактов с ним.

Н. И. Подвойский воспринял решение о ликвидации Всевобуча как неправильное и вредное. Поэтому, выйдя из больницы, он встретился с И. В. Сталиным, недавно избранным Генеральным секретарем ЦК РКП(б), но поддержки у него не нашел. В. И. Ленин в это время тяжело болел. Решение о Всевобуче уже состоялось. Никаких надежд на изменение положения не осталось.

Николай Ильич был потрясен случившимся. В феврале 1923 года он сдал дела Всевобуча и в прощальном приказе подвел итоги его работы за последние три года: впервые создана стройная система допризывной подготовки, развернута сеть школ инструкторов, подготовлено более миллиона допризывников, работают более двух тысяч очагов физической культуры, проведено множество военно-спортивных мероприятий и т. д. Распрощавшись с Красной Армией, Н. И. Подвойский плохо представлял, как будет жить дальше. Судя по письмам и по записям в блокнотах, можно утверждать, что это был, пожалуй, самый тяжелый момент в его непростой жизни, момент, когда он дрогнул. То, что он оказался ненужным своему любимому детищу — Красной Армии, — темпераментный Николай Ильич воспринял как личную трагедию. Но непоколебимая убежденность в правоте дела большевистской партии, его оптимизм и активность помогли ему удержаться. «Меня ничто и никто не сокрушит, — писал он позже Нине Августовне, — потому что я ученик Ленина, Ленина понимаю, по его пути иду, его методами стараюсь работать».