Кэткарт не раз заверял свое руководство в «правдивости, искренности, твердости и благонамеренности» Панина, в руках которого, по его мнению, сосредоточилась вся власть. В то же время посол признавал, что этот человек «самый сдержанный … и непроницаемый», какого ему только доводилось видеть.
Поначалу дипломату казалось, что положение Панина при дворе незыблемо. «Влияние Панина совершенно утвердилось, – свидетельствовал он в мае 1769 г. – Это единственный известный мне человек, способный исполнять возложенную на него должность с надеждой на успех»911. Но уже через несколько месяцев ситуация изменилась, влияние Панина на императрицу ослабело, на что обратил внимание и дипломат. «Граф Панин, – писал он, – от природы ленив, а в настоящую минуту раздражен и показывает вид, будто относится ко всему равнодушно … это обстоятельство совпадает с его … отчаянием вследствие невозможности вернуть прошлое». Все это производит «полный застой в делах». В прежние времена, по словам Кэткарта, Панин «в высочайшей степени обладал доверием императрицы», но это доверие постепенно ослабевало, «вследствие недостатка деятельности с его стороны». Посол предполагал, что министр не пользуется больше уважением912. Впрочем, Панин так и не был отправлен в отставку, как предполагал дипломат. Его разногласия с императрицей носили временный характер. Более того, императрица отблагодарила своего министра за верную службу и в октябре 1770 г. пожаловала ему орден св. Георгия первой степени и 2500 душ крестьян913.
Некоторые детали личной жизни Панина нашли отражение в депешах послов Макартни и Ширли. Так Макартни чрезвычайно заинтересовала новость о сердечной привязанности Панина – даме «необычайной красоты и живого ума, развитого путешествиями и украшенного всеми совершенствами образования». «Я не предполагал, – замечал посол, – что эта страсть Панина повлечет за собой серьезные последствия и думал, что … она будет непродолжительна, а потому до сих пор и не считал нужным говорить о том.. но теперь страсть эта достигла таких размеров, что я не могу долее обходить ее молчанием, тем более, что как сама дама, так и друзья ее употребляют самые хитрые уловки для того, чтобы не дать остыть этому чувству»914.
Казалось бы, какое дело послу иностранной державы до сердечных дел высокопоставленного российского сановника? Оказывается, что от этого происходили «все дела в застое», а сам Панин начинал «терять уважение общества», не желавшего простить человеку его лет, положения и опыта «нескрываемую юношескую страсть». Враги Панина не преминули воспользоваться этим случаем для того, чтобы «выставить на вид неприличие и дурной пример такой слабости в министре Ее Величества и воспитателя наследника престола», констатировал Макартни 915. Как видно, любовная привязанность сановника действительно могла серьезно повлиять не только на его собственное положение в великосветском обществе, но и на внутреннюю политику государства, интересы которого он обязан был денно и нощно защищать.