Но Ворошилов не очень обольщался словами Хрущёва. Его беспокоила воинствующая линия новой главной «метлы» государства на радикальное разоблачение сталинизма: Никита Хрущёв обязательно доберётся и до него, Клима Ворошилова.
В июне 1957 года против Хрущёва выступит так называемая антипартийная группа, костяком которой были бывшие соратники Сталина, чьё влияние в стране стало заметно уменьшаться после XX съезда. В неё входили члены Президиума ЦК КПСС Молотов, Каганович, Маленков, Булганин, Первухин, Сабуров. На их сторону встал и Ворошилов. Оказал ей лояльность и главный редактор газеты «Правда» Дмитрий Тимофеевич Шепилов. На заседании Президиума ЦК Хрущёву были предъявлены многочисленные претензии, которые были достаточно обоснованными. Семью голосами против четырёх Президиум принял решение рекомендовать пленуму ЦК сместить Хрущёва с поста первого секретаря.
На июньском (1957 года) пленуме ЦК КПСС антипартийная группа не получила поддержки и была осуждена. В докладе на ХХII съезде КПСС Хрущёв скажет, что ожесточённое сопротивление пыталась оказать осуществлению ленинского курса, намеченного XX съездом партии, фракционная антипартийная группа, в которую входили Молотов, Каганович, Маленков, Ворошилов, Булганин, Первухин, Сабуров и примкнувший к ним Шепилов. Но у неё ничего не получилось.
Ворошилов вовремя сориентировался в обстановке. Накануне пленума он понял, что большинство членов ЦК не согласятся с позицией президиума, и перешёл в стан Хрущёва. Он неожиданно выступил на пленуме с осуждением своих недавних союзников. Поэтому фамилия Ворошилова не была упомянута в решениях пленума об антипартийной группе. В начале июля Климент Ефремович, будучи в Ленинграде, на собрании партактива, ещё раз осудил «гнусную попытку» Молотова, Маленкова и Кагановича подняться против «ленинского руководства» ЦК КПСС в лице товарища Хрущёва.
И всё-таки Ворошилов понимал, что плодотворной совместной работы с Никитой Сергеевичем у него не будет. Проявленная в июне 1957 года попытка встать в оппозицию по отношению к Хрущёву не прошла ему даром. В 1960-м Ворошилову было предложено подать в отставку с должности председателя Президиума Верховного Совета СССР. Уход его
Вместо Ворошилова председателем президиума был избран Леонид Ильич Брежнев.
17—31 октября 1961 года состоялся XXII съезд КПСС. На этом съезде Хрущёв в отчётном докладе, говоря о фракционной антипартийной группе, уже открыто назвал Ворошилова её участником. Вслед за ним все другие ораторы как по команде повели огонь по Ворошилову. Особенно критично выступил Дмитрий Степанович Полянский — председатель Совета министров РСФСР. В унисон Полянскому с обличительными нападками обрушился на престарелого маршала Александр Николаевич Шелепин, занимавший в то время пост председателя Комитета государственной безопасности.