Да, Николай Ильич жил, не давая себе пощады. И в конце концов это не могло не сказаться. Его поразил тяжелейший приступ «грудной жабы», который наложился на предельное физическое и нервное истощение. Организм Николая Ильича был изношен настолько, что врачам потребовалось более полугода, чтобы поставить его на ноги. К работе он вернулся лишь в начале 1923 года…

23 февраля 1923 года праздновалось 5-летие Красной Армии. Николай Ильич всегда отмечал этот день и как личный праздник — так много сил отдал он Красной Армии, так слился душой с ее заботами. В праздничные дни курсанты 1-й Московской революционной пулеметной школы, созданной в свое время по инициативе Николая Ильича, вручили ему грамоту об избрании его Почетным красноармейцем и курсантом школы, Почетным командиром ее был избран В. И. Ленин. ВЦИК СССР, отмечая большую роль Н. И. Подвойского в организации Красной Армии и боевые заслуги в годы гражданской войны, наградил его орденом Красного Знамени. До конца дней он высоко ценил этот единственный свой орден, гордился им. Но иногда при взгляде на него к чувству гордости примешивалась горечь… горечь расставания с Красной Армией.

…Все произошло вдруг, неожиданно для Николая Ильича. С конца 1922 года Троцкий, воспользовавшись тяжелой болезнью В. И. Ленина, вновь начал борьбу против ленинизма. Он рассчитывал взять руководство партией в свои руки. Для него, не верившего в силу масс, не существовало задачи мобилизации творческой энергии трудящихся, развития их инициативы в интересах строительства и защиты нового общества. А именно на это, в соответствии с установками В. И. Ленина и ЦК РКП(б), была направлена, в частности, деятельность Всевобуча. Троцкий назвал работу Всевобуча «неделовой», заявил, что он не нужен, так как занимается «не своим делом». Троцкого поддержали те работники Всевобуча, которые физкультурную, ликбезовскую, культурно-воспитательную работу считали для себя дополнительной обузой. По настоянию Троцкого на всех необходимых уровнях было обсуждено и принято решение о ликвидации Всевобуча как самостоятельной и целостной организации. Лишь небольшая часть его аппарата оставалась в Наркомате по военным делам для осуществления контрольных функций. Добившись ликвидации Всевобуча, Троцкий заявил, что «со включением Всевобуча в общий военно-бюрократический аппарат, т. Подвойский не может быть там достаточно использован». Это означало, что места в Красной Армии для Н. И. Подвойского наркомвоен Троцкий не видит. Ни встретиться с Н. И. Подвойским, ни поговорить с ним по телефону, ни ответить на его письма Троцкий не пожелал.