Но роковой ошибкой императора Павла было удаление из императорской свиты камер-фрейлины Нелидовой. Очевидцы вспоминали, что Екатерина Ивановна, заметив, как все ее близкие исчезли из императорского управления, а императрица переживала трудные и безрадостные дни, поняла, что ей не совладать с молодой и красивой соперницей Анной Петровной, отец которой стал одним из управителей империи, и удалилась по приглашению графа и графини Буксгевден в их замок Лоде. В прощальном послании она просила не доверяться лакею Ивану Кутайсову. Павел, пытаясь удержать Нелидову, писал: «Я не понимаю, при чем тут Кутайсов или кто другой в деле, о котором идет речь. Он или кто другой, кто позволил бы внушать мне или делать что-либо, противное правилам моей чести и совести, навлек бы на себя то же, что постигло многих других. Вы лучше, чем кто-либо, знаете, как я чувствителен и щекотлив по отношению к некоторым пунктам, злоупотребления которыми, вы это знаете, я не в силах выносить. Вспомните факты, обстоятельства. Теперь обстоятельства и я сам – точь-в-точь такие же. Я очень мало подчиняюсь влиянию того или другого человека, вы это знаете… Клянусь пред Богом в истине всего, что я говорю вам, и совесть моя пред ним чиста, как желал бы я быть чистым в свой смертный час. Вы можете увидеть отсюда, что я не боюсь быть недостойным вашей дружбы».

Император, сбрасывая с себя иго влияния императрицы и Нелидовой и видя только в этом опасность, почему-то не замечал коварных царедворцев, врагов и недоброжелателей, которые помнят любые обиды, нанесенные императором, помнят и мечтают отомстить.

Императрица Мария Федоровна, осознавая это, писала Нелидовой: «Сколько бы Иван (то есть Кутайсов. – В. П.) ни говорил императору, что, по мнению общества, вы и я вместе управляем им и его действиями, – он не может поверить этому, не припомнив себе, что мы только противодействовали его горячности, его гневным вспышкам, его подозрительности, заклиная его оказать какую-либо милость или пробуя воспрепятствовать какой-либо жестокости, которая могла бы уронить его в глазах его подданных и отвратить от него их сердца. Преследовали ли мы когда-либо цель, кроме его славы и блага его особы, да и могли ли мы, великий Боже, иметь что-либо другое в виду, вы – как вполне преданный, истинный его друг, я – как его друг, как его жена, как мать его детей? У нас никогда не хватало низости одобрять императора, когда этому препятствовала наша совесть, но знаю, какое счастие испытывали мы, когда имели возможность отдавать полную справедливость его великодушным поступкам, его добрым и лояльным намерениям!»