Верный министр начал раздражать его своими бесконечными отеческими нотациями. Однако резкое ухудшение отношений между Карлом и Кларендоном наступило после того, как министр категорически отказался скрепить большой государственной печатью жалованную грамоту, которой король предоставлял щедрые субсидии Барбаре Каслмейн, бывшей в то время самой влиятельной из королевских фавориток. Разгневанная дама сумела окончательно восстановить Карла против Кларендона. Поскольку парламент продолжал настаивать на контроле над действиями короля, а министр ничего не мог противопоставить этому давлению, 30 августа 1667 г. Карл II отправил Кларендона в отставку. Парламент также усилил нажим на опального графа, обвиняя его во всех грехах.

Король не пожелал осложнять положение публичным заступничеством за бывшего министра; к тому же Кларендон по-прежнему оставался на ножах с леди Каслмейн. Поэтому Карл дал графу понять, что ему лучше всего покинуть пределы королевства. Уже 29 ноября 1667 г. человек, который больше всего пекся о реставрации английской монархии во всем ее былом величии, вторично отправился в изгнание и провел остаток дней во Франции.

Три года после падения Кларендона Карл II правил без поддержки главного министра, зато у него было сразу пять советчиков, явивших прообраз будущего кабинета министров, – Томас Клиффорд (1630–1673), Генри Беннет, граф Арлингтон (1618–1685), Джордж Вильерс, герцог Букингем (1628–1687), Энтони Эшли Купер, граф Шефтсбери (1621–1683) и Джон Мейтленд, герцог Лодердейл (1616–1682). Из инициалов этой пятерки составилось слово «cabal» (Клиффорд – Арлингтон – Букингем – Эшли (Ashley) – Лодердейл), означающее «интрига», «политическая клика». В целом, возникшее в 1670 г. «кабальное» министерство Карла II оправдало свое прозвище.

Следует отметить, что «кабальное» министерство не было министерством в современном понимании этого слова. Король практически никогда не консультировался со своими советниками, да и сами «кабальщики» придерживались независимых точек зрения. Единственное, в чем их мнения полностью совпадали, – это необходимость принятия закона о веротерпимости, что объясняется их прокатолическими настроениями и заботой о судьбе английской короны.

Арлингтон и Букингем были личными врагами Кларендона и способствовали его падению. Арлингтон, который, как и король, колебался между протестантизмом и католицизмом, занимался преимущественно вопросами внешней политики. Букингем стал советником короля как бы по инерции – его отец был любимцем Карла I. Клиффорд не скрывал, что он католик, и Дуврский договор между Англией и Францией, предусматривавший католизацию страны и переход Карла II в лоно римско-католической церкви, во многом был его детищем. Знал о настроениях Карла II и способствовал подписанию этого документа и Арлингтон, в то время как три других «кабальщика» даже не подозревали о готовящемся шаге короля. Лодердейла вообще мало интересовали события в Англии: как истинный шотландец он заботился прежде всего о делах своей родины. Вместе с тем он способствовал упрочению авторитета Карла II в Шотландии.