По всему было видно: на Байбакова собирают «материал». В архивах сохранились документы, из которых понятно, что партийно-государственные руководители разного уровня уже после пленума направляли на имя Черненко тексты своих, якобы не состоявшихся, выступлений на пленуме. Сопроводительные записки начинались со слов: «В соответствии с Вашей просьбой… Направляю по Вашей просьбе текст подготовленного выступления…» В «несостоявшихся» докладах секретаря Тульского обкома КПСС И. X. Юнака, министра сельского хозяйства РСФСР Л. Я. Флорентьева деятельность Байбакова оценивалась наиболее негативно, практически звучал призыв снять его с поста главы Госплана.
Насколько хватало его аппаратного влияния, Байбаков боролся за реализм в плановых заданиях. Один из эпизодов этой борьбы описал в своих дневниках заместитель заведующего международным отделом ЦК КПСС Анатолий Черняев:
«31 декабря 72 г. Перед 50-летием был Пленум ЦК. После отчета Байбакова (Госплан), который заявил, что план 1972 года не выполнен очень крупно, и план 73 года не будет выполнен, и что вообще неизвестно, как выходить из положения, произнес большую речь Брежнев. Вот ее короткое изложение: “Не выполняем пятилетнего плана практически по всем показателям, за исключением отдельных. Причины: ссылаются на погоду прошлого года. Но — это правильно для сельского хозяйства. И хотя не во всем, выкарабкались. И не надо было панику поднимать с закупками зерна за границей. Обошлись бы. Пример: в "Правде", — председатель колхоза в Кировоградской области, — все сгорело, но сумел получить по 25 центнеров, а соседи "через дорогу" — по 11 центнеров. А в промышленности — ссылка на погоду… Как вам не стыдно, товарищ Казанец… хвалитесь, что выплавляете больше США… А качество металла? А то, что из каждой тонны только 40 % выходит в продукцию, по сравнению с американским стандартом, остальное — в шлак и в стружку?! Капитальное строительство. Незавершенные стройки. Старая болезнь. Мы прикинули: на каждую из 270 000 строек приходится по… 12 рабочих. Если же, скажем, на Камазе — 70 000, то получается — на сотнях, тысячах строек вообще нет рабочих! Предлагаю: заморозить все, кроме того, что должно было войти в строй в 1972 и 73 годах. Но эти — довести! Мы по-прежнему получаем 90 копеек на один рубль вложений, а американцы — наоборот (на один доллар — 90). Ссылаются на поставщиков. Но посмотрим на факты. Товарищ Тарасов (легкая промышленность) — у вас на складах… млн пар обуви валяются. Их уже никто никогда не купит, потому что фасоны лапотные. А ведь на них ушло сырье, которого, как вы говорите, вообще мало. Так ведь можно скупить все заграничное сырье и пустить его под нож. Решает план группа Байбакова. Потому что людям нужны не деньги, а товары. И только, имея товары — продаваемые (!), мы можем вернуть деньги, чтоб строить домны и т. п. А как мы работаем? <…> Лень, безответственность, головотяпство, преступление! Мы не выполняем главного в постановлении XXIV съезда — подъема производительности, эффективности. Весь съезд и вы, присутствующие здесь, сидели и хлопали, когда говорилось о новой задаче — одновременного движения по основным направлениям экономического развития (и подъем благосостояния, и рост производительности, и обороны). А что же получается? Мы же этого поворота не совершили, два года уже прошло после съезда, половина пятилетки! А нам вот товарищ Байбаков докладывает, что план 1972 года не выполнили, в 1973 году тоже не выполним, а потом вообще неизвестно. Госплан проявляет либерализм, а организации, которые за ним стоят, — просто безответственность. Госплана, как организации, определяющей стратегическую перспективу и строго контролирующей ход нашей экономики, у нас нет”».