Петр Толстой бывал на приемах и в роялистских салонах. Он больше слушал, в основном молчал; о Наполеоне чаще всего говорили как о честолюбце и деспоте. Постепенно возникало недоверие к блеску и триумфам императорского двора, не уходила из памяти встреча в Мемеле с прусской королевской семьей, жившей в оскорбленной нищете и тяготах.

Увидевшись с министром Шампаньи Петр Толстой поднял прусский вопрос. Но разговор оказался неудачным: Шампаньи ничего не мог сказать, его ответы были уклончивыми. Император, когда Петр Толстой заговорил с ним на эту тему, попробовал успокоить его, сказав, что королевская чета не стоит того, чтобы так упорно возвращаться к этому вопросу, это плохие союзники, они объявили ему войну, он разбил их войска, вошел в Берлин, а сейчас готов вывести свои войска из Пруссии.

Наполеон удивился тому, что Петр Толстой крайне изменился в ходе разговора, – пропали смущение, растерянность, он твердо заявлял о том, что Россия не может считать себя в мире с Францией до тех пор, пока первое условие договора остается невыполненным. А после слов Наполеона, что он выводит свои войска из Пруссии, Петр Толстой сказал:

– Как человек военный, могу свидетельствовать: я ведь проезжал по Пруссии, там ничего подобного не делается, армию передвинуть – не табаку понюхать.

– Не горячитесь, генерал, горячность и торопливость в нашем дипломатическом деле никуда не годятся. Прусский вопрос зависит от решения других проблем. Я не буду оспаривать желания России, как бы чрезмерны они ни были, но и мои надежды на вознаграждение должны быть представлены в полной мере. Я выведу свои войска из Пруссии, как только Россия выведет свои войска из дунайских княжеств Молдавии и Валахии. В расчленении Оттоманской империи я не вижу никакой выгоды, в этом случае нас ждут только неудачи и затруднения.

Петр Толстой без всякого смущения и растерянности спросил Наполеона:

– Ваше величество! Вы постоянно напоминаете мне во время нашего разговора, что настаиваете на компенсации. Мы не знаем, что вы имеете в виду.

– Ну конечно, Пруссию, – сказал Наполеон после некоторого колебания, как бы сделав над собой большое усилие. – Если в планы России входит более крупный раздел Оттоманской империи, я даже на это согласен. Я вам предлагаю посмотреть даже на Константинополь как компенсацию ваших потерь, я не подписывал с Турцией никаких обязательств и сам не имею в виду столицу Турции в качестве трофея.

В одном из первых писем графу Румянцеву 7 ноября 1807 года Петр Толстой писал о дележе прусских земель: «Господину Жерому был положительно обещан для его Вестфальского королевства Берлин с расширением до Одера. После моей частной аудиенции император приказал позвать его и напрямик объявил ему, что об этом нечего и думать; но Жером, как это нередко с ним бывает, пустился в препирательства; он осмелился требовать обещанного и сослался на данное ему императорское слово. Между обоими братьями произошла одна из самых бурных сцен, результатом которой была высылка Жерома, вынужденного уехать сегодня утром в Шербург, под предлогом исполнения поручения императора» (Архивы Петербурга).