«Бывая вместе с Алексеем Николаевичем на заседаниях у Брежнева, я замечал, что Леонид Ильич бросает на меня выразительный взгляд, как на “косыгинца”, — рассказывает Байбаков. — Я и в кабинете у Генсека не скрывал, что мне нравится, как твердо и прямо отстаивал Косыгин свои мысли и решения, как остро и неожиданно он реагирует на каверзные вопросы. Брежнев, уже отяжелевший и привыкший к славословию, слушал его вполуха, ревниво поглядывал на своих прирученных соратников и хмурился, когда видел внимательно слушающего. Всем здесь было понятно, что Брежнев, а не Косыгин “хозяин страны”, что Косыгин у него не в особой чести, поэтому нередко обсуждали крупномасштабные косыгинские выступления поверхностно и бегло. Вспоминаю, что после подобных заседаний Косыгина буквально трясло от возмущения, от того, как непродуманно и поспешно принималось решение по той или иной важной проблеме. Но, увы, один, без поддержки всемогущего Политбюро, Алексей Николаевич практически ничего не мог сделать по ряду актуальных вопросов. Брежнев все больше и больше отстранялся от рассмотрения планов и государственных программ, — то ли ему было скучно, то ли силы начали сдавать. Скорее, не понимая всей сути дел, он завидовал уму Косыгина, его знаниям и подлинному авторитету. Между ними возникла незримая, психологическая напряженность, которая все нарастала, хотя внешне это особо не проявлялось».

Байбаков вспоминает происшествие, едва не стоившее Косыгину жизни. Как-то летом 1976 года на даче в Архангельском премьер решил проплыть на лодке по Москве-реке, и с ним случился солнечный удар. Косыгин потерял сознание, лодка перевернулась, но его успели спасти. Потом — два месяца в больнице и санатории.

«Вернулся Алексей Николаевич в Совмин к прежней активной работе вроде и прежним, но более замкнутым, что ли, — вспоминал Байбаков. — Однажды, обдумав и подписав какой-то документ по здравоохранению, он странно посмотрел на меня долгим взглядом и начал беседу на неожиданную тему. Он любил иногда поговорить на отвлеченные темы, вероятно, чтобы снять напряжение. На сей раз после длительной паузы он вдруг спросил:

— Скажи, а ты был на том свете?

Мне стало чуть-чуть жутковато, и я ответил, что не был, да и не хотел бы там оказаться.

— А я там был, — с грустноватой ноткой отозвался Алексей Николаевич и, глядя перед собой отрешенно, добавил:

— Там очень неуютно…

Что-то помешало продолжению этого мистического разговора, но хорошо помню, что состоялся он вскоре после его болезни. У меня сложилось впечатление, что именно после этого нелепого случая с лодкой здоровье Косыгина надломилось. К тому же обострились отношения с Брежневым, Черненко, Тихоновым. За первым инфарктом последовал второй в октябре 1980 года, а в декабре Алексея Николаевича не стало. <…> Я был одним из тех, кто стоял у гроба Косыгина».