Зимою 1836-1837 г., на одном из Петербургских больших вечеров, стоявший позади Пушкина молодой князь П. В. Долгорукий (впоследствии известный генеалог) кому-то указывал на Дантеса и при этом подымал вверх пальцы, растопыривая их рогами. В это время уже ходили в обществе безъимянные письма, рассылаемые к приятелям Пушкина для передачи ему. Граф Адлерберг знал о том. Находясь в постоянных дружеских сношениях с Жуковским, восхищаясь дарованием Пушкина, он тревожился мыслию о сем последнем. Ему вспомнилось, что кавалергард Дантес как-то выразил желание проехаться на Кавказ и подраться с горцами. Граф Адлерберг поехал к вел. кн. Михаилу Павловичу (который тогда был главнокомандующим гвардейского корпуса) и, сообщив ему свои опасения, говорил, что следовало хотя на время удалить Дантеса из Петербурга. Но остроумный француз-красавец пользовался большим успехом в обществе. Его считали украшением балов. Он подкупал и своим острословием, до которого великий князь был большой охотник, и меру, предложенную Адлербергом, не успели привести в исполнение.
Причины дуэли отца мать моя исключительно объясняла тем градом анонимных писем, пасквилей, которые в конце 1836 г. отец мой стал получать беспрестанно. Едва только друзья его В. А. Жуковский, кн. П. А. Вяземский успокоят отца моего, – он вновь получает письма и приходит в сильнейшее раздражение. Авторами писем мать моя всегда признавала кн. Петра Владимировича Долгорукова, которого называли bancal (кривоногий – фр.), известного своею крайне дурной репутацией. – Другое лицо, на которого указывала моя мать как на автора безымянных писем, был кн. Иван Сергеевич Гагарин; по мнению матери, он и ушел в орден иезуитов, чтобы замолить свой грех перед моим отцом. Впрочем, если Гагарин потом отрицал свою вину, то ему еще можно было поверить.
Впоследствии узнал я, что подкидные письма, причинившие поединок, писаны были кн. Ив. Серг. Гагариным, с намерением подразнить и помучить Пушкина. Несчастный исход дела поразил князя до того, что он расстроился в уме, уехал в чужие края, принял католическую веру и поступил в орден иезуитов. В пребывание мое в Париже (1845-47 г.), был он послушником монастыря в Монруже и исправлял самые унизительные работы; потом в иезуитском доме учил грамоте нищих мальчишек. Впоследствии, кажется, повышен был в чине.