Три царя отступили перед Лопухиным. Когда перед 1807 г., в ожидании вторжения Наполеона, император распорядился организовать местное ополчение за счет жителей, кажется, только он один решительно возразил, доказывая, что эта мера ненужная и лишь обездолит население. Александр I благодарил его за смелую откровенность, одновременно указывая, что сенатор касается и тех предметов, о которых «его не спрашивали».

«Бранили меня, — вспоминает Лопухин, — ученые монахи, философы, политики… Бранили меня благочестивыми слывущие старцы, кои не пропускают обедней и прилежно разбирают… можно ли в постные дни чай пить с сахаром… И которые готовы без разбора подписывать людям ссылку и всякую неправду для приятеля, особливо для вельможи придворного».

В ту пору ожидали крупных реформ в стране. Государственный секретарь М. М. Сперанский с согласия Александра I готовил сложную систему законов, которые должны были в конце концов привести к введению в стране пусть ограниченной, но конституции; пусть умеренной, но отмены крепостного права. Сперанский был в добрых отношениях с Лопухиным и не раз обращался к его уму и знаниям, хотя они во многом расходились, а Лопухин не уставал повторять, что, защищая народ от властей, жалея его, мечтая о просвещении, он все-таки против освобождения крестьян. 4 января 1807 г. Иван Владимирович написал царю: «Я первый, может быть, желал, чтоб не было на русской земле ни одного несвободного человека, если б то без вреда для нее возможно было. Но народ требует обуздания и для собственной его пользы».

Иначе говоря, сенатор считает, что рано, опасно еще давать волю мужикам; он советует только применять строгие меры против тиранов-помещиков…

При этом вполне умеренные взгляды Лопухина как бы оспаривались его особой репутацией. Царь, правда, дал ему высочайший чин действительного тайного советника, но прислушивался и к враждебным нашептываниям графа Ростопчина, а также других представителей консервативной знати. По их понятиям, такой человек, как Лопухин, столь рьяно ратовавший за законность и справедливость, не может не быть скрытым «якобинцем» (любопытно, что примерно такие же обвинения в эту пору были предъявлены Карамзину, тоже сочетавшему умеренно-консервативные воззрения с личной честностью и бесстрашием). Во дворец ползли слухи, «мнения» весьма важных лиц, будто Лопухин «человек самый безнравственный», что он стоит во главе «заговора мартинистов» и при случае изменит в пользу Наполеона.

Почувствовав опасность, сенатор решил изложить свой образ мыслей в мемуарах. Так были задуманы те самые записки, о которых полвека спустя будет напечатано объявление в «Колоколе».