Императрица Елизавета потеряла свою дочь, что облегчало материальные трудности и делало её одинокое и растерзанное сердце доступным для решений, продиктованных отчаянием. Князь Адам, во власти сильнейшей страсти, на мгновение был увлечён такой соблазнительной перспективой; но он же первый осознал её невозможность, почувствовал угрызения совести и привёл императору доводы рассудка. Ему удалось его убедить, всё осталось по-прежнему, и по меньшей мере несколько лет империя наслаждалась покоем, но императрица Елизавета стала ещё более одинокой...

В 1806 г. было объявлено о беременности императрицы: эта новость была встречена с радостью, все ей сочувствовали после смерти её старшей дочери и желали, чтобы эта утрата была возмещена. Но г-жа Нарышкина пришла в ярость. Она требовала от императора верности, на которую сама была не способна, и с горечью осыпала его упрёками, на что он имел слабость ответить, что не имеет никакого отношения к беременности своей жены, но хочет избежать скандала и признать ребёнка своим. Г-жа Нарышкина поспешила передать другим эти жалкие слова»⁶².

От Нарышкиной Александр имел двух дочерей; но фаворитка имела и других любовников. Генерал и военный историк А. И. Михайловский-Данилевский вспоминал:

«Государь, как известно, страстно любил Марью Антоновну Нарышкину, которая, однако же, невзирая на то, что была обожаема прекраснейшим мущиною своего времени, каковым был Александр, ему нередко изменяла. В числе предметов непостоянной страсти её был и граф Ожаровский. ...Государь приблизил к себе сего последнего после Фридландского сражения, в котором убили брата его... государь, чтобы утешить его в сей потере, осыпал его милостями. Граф Ожаровский заплатил за сие неблагодарностию, заведя любовную связь с Нарышкиною. Государь, заметя оную, начал упрекать неверную, но сия с хитростию, свойственною распутным женщинам, умела оправдаться и уверить, что связь её с Ожаровским была непорочная и что она принимала его ласковее других, потому что он поляк и следственно её соотечественник и что она находится в самых дружеских отношениях к его матери. Вскоре, однако же, измена обнаружилась, ибо по прошествии малого времени государь застал Ожаровского в спальной своей любезной и в таком положении, что не подлежало сомнению, чтобы он не был щастливым его соперником. Кто бы на месте государя не отмстил дерзкому и удержал бы порыв своего гнева? Посмотрим, что сделал Александр. Он призвал к себе своего соперника, им облагодетельствованного, и сказал ему: “Ты знаешь, сколь нещастий я имел в жизни, но у меня оставалась одна отрада, единственное утешение в свете — в любви Марьи Антоновны, и ты, похитив её сердце, лишил меня моего благополучия, но мстить я тебе не стану; дружеская связь, до сего времени между нами существовавшая, прерывается; ежели ты желаешь, то ты можешь оставаться по-прежнему при мне генерал-адъютантом. Я тебе не буду ни в чём отказывать и позволяю тебе отныне впредь просить всего, что ты ни пожелаешь. Вот моё мщение”».