В соответствии со своим стилем и методами работы Юрий Владимирович Андропов часто использовал, помимо собственной исполнительной команды, и такую управленческую структуру КГБ, как совещания своих зампредов. Обычно эти совещания он проводил в столовой за обедом, где ровно в 13.30 собирались все пять его заместителей. На этих совещаниях Андропов отрабатывал, обсуждал и решал крупные стратегические вопросы. Протокол «малой Коллегии» вел Николай Владимирович Губернаторов.

Вскоре после своего назначения Андропов пригласил работать одним из своих замов Ардалиона Николаевича Малыгина, который с 26 июня 1961 года до 8 июня 1967 года был заведующим сектором органов госбезопасности Отдела административных органов ЦК КПСС. Малыгин был потомственным тульским оружейником, с 1938 года секретарем городского комитета комсомола, а с апреля 1941 года – первым секретарем Центрального райкома ВКП(б) Тулы. В составе Тульского городского комитета обороны он внес немалый вклад в оборону города в ходе Битвы за Москву. В 1943 году его избирают секретарем Тульского горкома ВКП(б), а в 1944 году – секретарем Калужского обкома партии по кадрам. В 1951–1961 годах Малыгин работает в 3-м Главном управлении (военная контрразведка) МГБ – КГБ, в том числе в 1953–1958 годах начальником отдела кадров. В качестве заместителя Андропова он курировал Управление кадров, 7-е Управление (наружное наблюдение), ХОЗУ и Финансово-плановые органы. Своим помощником Малыгин пригласил работать фронтовика, опытного следователя КГБ Николая Владимировича Губернаторова, который затем стал помощником Андропова.

Как рассказывал сам Ардалион Николаевич, после разговора с ним Андропов тут же снял трубку «кремлёвки» и позвонил Брежневу. Минуту-другую спустя он передал трубку Малыгину. Брежнев поздоровался с Малыгиным и сказал:

– Надо помогать Юре, а Вы как раз способны помочь, вытащить КГБ из застоя. Кроме Вас ЦК рекомендует еще двух замов в помощь Юрию.

Через несколько дней заместителями Андропова были назначены генерал-майор Семён Кузьмич Цвигун и генерал-лейтенант Георгий Карпович Цинёв. Вместе с Малыгиным они заняли смежные кабинеты на 4-м этаже в здании на Лубянке.

Зампредами, оставшимися от предыдущего председателя, были первый заместитель председателя, генерал-полковник Николай Степанович Захаров, который в 50-х годах являлся начальником 9-го Управления (охрана руководителей партии и правительства) КГБ при СМ СССР, и генерал-майор Лев Иванович Панкратов – в начале 60-х годов заместитель начальника Второго Главка (контрразведка). Два других заместителя Семичастного – начальник Второго Главка генерал-лейтенант Сергей Григорьевич Банников и бывший председатель КГБ при СМ Белорусской ССР генерал-лейтенант Александр Иванович Перепелицын лишились своей должности в июле – августе 1967 года.