Как Хрущев был для Байбакова антиподом Сталина, так Брежнев - антиподом Косыгина. Сталина и Косыгина Байбаков числил гениями, Хрущева и Брежнева - посредственностями, незаслуженно получившими государственный руль.

«Алексей Николаевич Косыгин был. прямой противоположностью Брежнева. Если Леонид Ильич любил поговорить о проблемах не столь докучливых, какими являются проблемы экономики, и слушать ему было приятнее тех, кто молниеносно реагировал, на его житейские интересы, то Косыгин, напротив, больше говорил о делах. О нем можно сказать: "Человек весь в деле". Помнится, даже во время прогулок в Кисловодске в дни отпуска разговор между нами шел только о делах. Удовлетворение собеседником Косыгин выражал молчаливым согласием, что можно было понять лишь по мимике, еле уловимым, оттенкам в голосе. В разговоре не поддакивал сам и не любил, когда поддакивали ему», - вспоминал Байбаков.

Брежнев не любил Косыгина, опасался его, видел в нем соперника, выставлял виноватым за все - и это тоже было неприятно Байбакову. К тому же он и сам страдал от этого. На протяжении шестнадцати лет Байбаков был. заместителем Косыгина, его ближайшим и верным соратником. Премьер-министр и председатель Госплана шли в одной упряжке, и, когда генсек прямой наводкой бил по Косыгину, рикошетом, долетало и до Байбакова.

Не нравилась Байбакову и разросшаяся в ЦК при Брежневе сеть отраслевых отделов. За их ликвидацию неоднократно выступал Косыгин, но Брежнев и его окружение этому стойко сопротивлялись. «Сусловская команда, которая в прошлом восхваляла Хрущева, - пишет Байбаков, - теперь стала превозносить до небес "руководителя нового типа"- Леонида Ильича Брежнева. С развитием его культа изменился и стиль работы в Кремле. "Деятельность" [слово взято в кавычки Байбаковым. - В. В.] Брежнева нередко сопровождалась торжествами и пышными приемами». Здесь стоит заметить, что на этих торжествах и приемах частенько сиживал и сам Байбаков, не говоря уж о пиршествах на брежневской даче в Завидово.

Пребывание Брежнева на посту генсека (1964-1982) Байбаков условно делил на два периода - активный и пассивный. Сначала, по мнению Байбакова, Брежнев энергично взялся за дело и при недостатке собственного опыта и глубоких знаний в области экономики не пренебрегал советами специалистов, прислушивался к мнению ученых. Потом как-то постепенно Брежнев, считает Байбаков, отошел от активной работы, полностью доверился помощникам, аппарату ЦК. Вместе с болезнью в последние годы пришла и апатия.

«Чувство внутренней неуверенности и досады Брежнев зачастую гасил каким-нибудь словцом или репликой, на которую живо и весело отзывались присутствующие, - вспоминает Байбаков. - Отношения со своими сторонниками и приверженцами у него были фамильярными, доходящими до панибратства. Это нравилось "брежневцам", и они угодливо улыбались ему, поддакивали, буквально заглядывали в рот. Занимая, высокое положение в партии и государстве, они всячески превозносили "дорогого Леонида Ильича", пели дифирамбы престарелому Генеральному секретарю, льстили, говорили, что его возраст - время расцвета для политиков. Так создавался культ Брежнева. В нем же самом постепенно угасал жизненный динамизм, что порождало социальную апатию у людей, окружавших его».