Байбаков не раз встречался с Брежневым, бывал на заседаниях Политбюро и разного рода совещаниях, проводимых им. Вначале, по наблюдениям Байбакова, генсек принимал активное участие в рассмотрении проектов годовых и пятилетних планов, уделял большое внимание сельскому хозяйству. С годами же наиболее важные вопросы Брежнев стал решать самостоятельно, что называется, в рабочем порядке. «В частности, это происходило под нажимом министерств и ведомств оборонной промышленности, - вспоминал Байбаков. - "Надо крепить оборону", - часто говорил, он, но одновременно требовал, чтобы и деревне выделялись средства, и темпы развития экономики были достаточно высокими. Леонид Ильич был из числа тех людей, которые потребности не увязывали с государственными возможностями».

Именно это - несоответствие потребностей возможностям государства — и служило, по мнению Байбакова, причиной ошибок, допущенных Брежневым.. Ошибок, которые приводили к несбалансированности планов и за которые отдувался Байбаков как председатель Госплана. Ему, выполняя указания генсека, приходилось отвлекать средства, предназначенные для развития отраслей группы «Б» или для финансирования социальных программ.

На заседаниях Политбюро, куда приглашали и Байбакова, если рассматривался «его» вопрос, нередко возникали споры и столкновения. Приглашенному приходилось проявлять выдержку и настойчивость, защищая позицию Госплана. Однажды после крутого разговора Брежнев произнес:

- Николай, мы тебя выслушали, нам твоя позиция известна. А теперь позволь нам, с учетом других, не менее важных обстоятельств, принять решение.

И решение было принято. Но далеко не то, которое предлагал Госплан.

«У Брежнева слишком мягкий характер, он поддается чужому влиянию» - так Хрущев охарактеризовал однажды своего выдвиженца. «И действительно, - соглашается Байбаков, — не хватало Брежневу ни силы воли, ни политических данных, ни экономических знаний для руководства страной. Этим пользовались, допуская неконтролируемый, а зачастую незаконный рост доходов отдельных групп и лиц, нарушение социалистических принципов распределения по труду. В жертву частным, сиюминутным интересам приносились интересы государства. В угоду ведомственным амбициям через Политбюро протаскивали непродуманные решения, которые впоследствии оборачивались огромными потерями».

Да, признавал Байбаков, бывали и у плановиков ошибки. Да, уступали и они давлению сверху: «Выходили мы с предложениями и на Политбюро, но нередко наше мнение не совпадало с мнением большинства его членов. Бывало и такое, когда Политбюро отказывалось обсуждать стратегические проблемы развития народного хозяйства а связанные с этим принципиальные вопросы формирования нового пятилетнего плана».