Весной 1957 2. Андропов вернулся в Москву в ореоле спасителя социализма в Венгрии. Он получил повышение. Возглавил вновь созданный отдел ЦК КПСС по связям с коммунистическими и рабочими партиями социалистических стран. Отдел возглавлял 10 лет, будучи одновременно с 1962 г. секретарем ЦК КПСС. С 1961 г. — член ЦК КПСС. В отделе Андропов собрал группу консультантов либеральной ориентации: Ф. Бурлацкого, А. Арбатова, Г. Шахназарова, А. Бовина, О. Богомолова, Н. Шишлина и др.

После смещения Хрущева и смерти в том же году своего покровителя О. В. Куусинена, он оказался в изоляции. В «комсомольскую группу» А. Н. Шелепина не входил. Старался понравиться Л. И. Брежневу. В мае 1967 г. Андропов назначен председателем КГБ СССР вместо В. Е. Семичастного и возглавлял его 15 лет, поставив абсолютный рекорд среди хозяев Лубянки. При нем усилилось влияние КГБ в обществе. Уже через месяц после занятия должности, в Политбюро написал записку с предложением создать в центре и на местах структуры по борьбе с идеологическими диверсиями. При нем практиковалось заключение диссидентов в психиатрические лечебницы. Инициировал высылку А. Д. Сахарова в Горький, а А. И. Солженицына за границу. Не допустил коррупцию в органах КГБ. В 1967 г. — кандидат в члены, в 1973 г. — член Политбюро ЦК КПСС. В 1976 г. получил звание генерала армии. Прибавку к зарплате за воинское звание и выслугу лет в размере 400 рублей перечислял в детский дом. Герой Социалистического Труда (1974 г.). В мае 1982 г. из КГБ был переведен секретарем ЦК КПСС. В партийной иерархии стал человеком № 2.12 ноября 1982 г. на Пленуме ЦК КПСС избран Генеральным секретарем ЦККПСС[1475].