После разрыва с Нарышкиной Александр некоторое время встречался с дочерью португальского банкира Софи Вельо. Исследователи, по неподтвержденным данным, насчитывают, что от Нарышкиной и других любовниц у Александра могло быть до одиннадцати внебрачных детей. Чаще всего называют Софью Нарышкину и генерала Николая Лукаша, рожденного от Софьи Всеволожской. По другой версии, он был бесплодным.

Александр был крёстным отцом будущей английской королевы Виктории, названной в честь его побед. Во время пребывания в Европе в 1815 году его обворожила баронесса Крюденер. Эта «слезливая протестантская проповедница», приехав в Россию, засыпала российского императора обстоятельными письмами на мистические темы с просьбами о материальных выплатах.

В это время с согласия императора в Михайловском замке поселилась сектантка Татаринова, участвовавшая в оргиях хлыстов и скопцов, которые посещал министр духовных дел Голицын. Такое соединение всех вероисповеданий в лоне универсального христианства объяснялось стремлением императора приблизиться к истине путём невидимого общения с Божьим Промыслом на почве «всемирной истины».

(В истории России такая опасная духовная и идеологическая всеядность привела императора Николая II при активном участии Распутина и множества гадалок к краху Российской империи и гибели всей царской семьи, а генсека и президента СССР Горбачева к уничтожению СССР и стран социализма, который ни в чем не раскаялся до сих пор.)

Эта неслыханная прежде в Российской империи атмосфера толерантности возмутила церковные власти и архимандрита Фотия, который смог убедить в опасности, грозящей православию адъютанта императора Уварова и Аракчеева, которых также беспокоило неограниченное влияние голицынских сект. Но «врагом православия и злокозненным иллюминатом» Фотий считал не Голицына, а Кошелева.

Однако ставленники Голицына – Магницкий и Рунич – в Министерстве просвещения и Библейском обществе насаждали клерикализм в университетах и увольняли профессоров точных наук за «афеизм». Аракчеев собирал компромат на «иллюминатов» и Голицына.

По его рекомендации от двора были удалены баронесса Крюденер и Кошелев, а все масонские общества попали под запрет и были распущены. В 1824 году был принуждён выйти в отставку и князь Голицын.