Летом 1821 года графиня де Кайля, подражая знаменитым фавориткам древних Бурбонов, удалилась из Тюильри под тем предлогом, что она не была удостоена доверия, равного её преданности. Следуя советам аббата, графиня написала Людовику письмо на одиннадцати листах с целью устранить последние препятствия на дороге гг. де Вильеля и Карбьера к министерским портфелям. Это письмо долженствовало разрешить все сомнения монарха. Однако графиня, испугавшись сама своего поступка, не решалась просить ответа. Лиотар её почти насильно привёл в кабинет короля и сам со своей стороны написал де Вильелю, удалившемуся в Тулузу. Пятнадцать дней спустя вышел в свет приказ, передавший власть в руки иезуитскому министру.

Странно подумать, что этот аббат из своей комнаты через посредство женщины управлял судьбами Франции при короле столь положительном и проницательном, каким был Людовик XVIII. Он просит и получает для мсье Состен де ля Рошфуко место генерального управляющего отделом искусств, достигает уничтожения конкордата, учреждения должностей восьми духовных пэров, назначенных королевским приказом 31 октября 1822 года, и наконец основания министерства вероисповеданий, портфель которого вверяется, по его же просьбе, г-ну де Фрайсину, в котором иезуитскую реакцию возбудили беседы в семинарии Святого Сульпиция и которого призвали ввиду почти нескрываемой цели.

Сам мсье де Вильель не избежал смелого влияния, которое воплощал в себе Лиотар, и он должен был принять для управления в министерство финансов мсье де Ренневиля, только что выпущенного из иезуитского рассадника в Ахеле, де Вильель должен был подчиниться следующей инструкции:

«Нами вы возвышены, но не для вас, которого мы не знали, а для блага государства, служить которому мы вас посчитали достойным; конечно, только вашими делами вы и можете поддержать себя, но не думайте, что одному и без поддержки вам возможно будет удержаться у дел и творить добро. На кого же хотите вы опереться, если вы удаляете верных друзей короля. Пусть всякое чувство гордости и честолюбия исчезнет перед интересами монархии».

Это письмо перепечатано с документа неопровержимого, лежащего перед нашими глазами; это Мемуары аббата Лиотара, напечатанные им самим.

Мсье де Вильель думал, что он сделал довольно, показав эмигрантам часть безнаказанности, обещанной им впоследствии, и, видя, что дворяне и духовные осаждают власть, он отдёрнул лестницу. Согласие между им и иезуитами казалось порванным, когда началось царствование Карла X. Во время агонии Людовика XVIII графиня де Кайля попала ещё больше в милость; Жотар воспользовался этим, чтобы просить себе место в королевском университетском совете. Мсье де Фрайсину, раскусивший уже давно этого человека, воспротивился всеми силами распоряжению, долженствовавшему разрушить сам университет, и не допустил мсье Лиотара до занятия этого места. Решили, что довольно для торжества духовенства и того, что оно успело во времена Реставрации основать тридцать новых епархий и около шестидесяти духовных школ.