1 августа 1822 года Александр I, отбывая на конгресс в Верону, подписал рескрипт, направленный министру внутренних дел князю Кочубею: «Все тайные общества, под каким бы наименованием они ни существовали, как то: масонских лож или другими, закрыть и учреждения их не дозволять, а всех членов сих обществ обязать подписками, что они впредь ни под каким видом, ни масонских, ни других тайных обществ, ни внутри империи, ни вне ее составлять не будут».

Граф Аракчеев почувствовал, что его мнение относительно Библейского общества и князя Голицына побеждает. У графа Аракчеева была целая команда, которая чуть ли не ежедневно приводила примеры разрушительного действия Библейского общества против православия и православных храмов.

Граф Аракчеев, получив от императора Александра полную доверенность на управление страной, не имел полного удовлетворения, что-то очень существенное оставалось в руках князя Александра Голицына и его партии. Именно эта двупартийность управления государством и не удовлетворяла графа Аракчеева. Князь Голицын мог запретить выход любой книги, любого издания. Цензура и многое другое было в его руках.

И новый митрополит Петербурга Серафим и архимандрит Фотий не раз упрекали графа Аракчеева за своевольство князя Голицына, нарушавшего Священное Писание, хотя он и числился его блюстителем, министром духовных дел и народного просвещения. Историки и биографы, описывая этот конфликт, подчеркивали, что архимандрит Фотий резко выделялся среди высшего духовенства борцовским темпераментом и бескомпромиссностью, особенно в борьбе с сексуальными демонами. Несколько лет он боролся с членами Библейского общества, с резкой проповедью выступал в Казанском соборе, за что последовало его изгнание из Петербурга.

Давление на митрополита Серафима, графа Аракчеева, всей оппозиции было настолько велико, что митрополит в Синоде в присутствии императора, произнося огненную речь против Библейского общества и князя Голицына, снял свою рясу и положил ее к ногам императора, заявив, что не возьмет ее обратно, пока князь Голицын останется на своем посту.

Император Александр растерялся от неожиданного поворота событий, но вышедшую книгу Госнера Иоанна-Евангелиста «Дух жизни и учение Иисуса Христа в рассмотрении и комментариях Нового Завета», в которой содержались атеистические идеи, передал в Комитет министров, а Комитет министров передал ее на рассмотрение А. Шишкову и В.С. Ланскому, которые не замедлили поддержать митрополита Серафима в осуждении книги модного проповедника.

15 мая 1824 года появился рескрипт, в котором говорилось об отставке князя Александра Голицына и о назначении министром народного просвещения А. Шишкова. А попытка со стороны Фотия запретить Библейское общество оказалась неудачной. Император Александр остался доволен исходом битвы митрополита Серафима и архимандрита Фотия против князя Голицына, которая закончилась победой священников и отставкой князя Голицына с очень важного министерского поста.