В одном из первых своих донесений в Лондон Генрих Ширли обратил внимание на то, что Панин «отдает себя в руки врагов своим неосмотрительным поведением»: частых встречах с одной дамой. Панин «так неосторожен в своих посещениях, и так часто видится с ней, что врагам его представляется в настоящую минуту прекрасный случай для того, чтобы положить основание его падению», – писал дипломат. Недоброжелатели пытаются удалить Панина от великого князя, заменив его другим лицом, констатировал Ширли. Вскоре выяснилось, что загадочной сердечной привязанностью министра являлась Анна Петровна Шереметева, и что Панин, будто бы собирался на ней жениться. На взгляд дипломата, эта женщина отличалась необыкновенной красотой и «почти безграничным честолюбием». Однако матримониальным планам министра не суждено было сбыться: в мае 1768 г. невеста Панина скончалась от оспы. Ширли писал: эта молодая девица обладала необыкновенными достоинствами и красотой, а также владела громадным состоянием. Панин так любил ее, «что за него нельзя не опасаться»916. Дипломат оказался прав. Панин, действительно, очень тяжело переживал внезапную кончину своей любимой, память о которой сохранил на долгие годы.

Характеристику Н.И. Панину давал в своих донесениях также Ганнинг. В одном из первых депеш в Лондон он утверждал, что постарается «тщательно избегать всякого случая возбудить подозрение или малейшее неудовольствие Панина»917. Наблюдая за деятельностью министра, а также расстановкой сил при дворе императрицы, посол высказывал предположение, что глава внешнеполитического ведомства пожелает оставить должность, «слишком для него утомительную», что позволит его врагам лишиться противника в Совете. Один из таких недоброжелателей Панина являлся, по мнению посла, Григорий Орлов. И между ними нередко происходили стычки. В послании Саффолку от 28 мая 1773 г. Ганнинг сообщал, что Панин, «имея в виду оклеветать князя Орлова, вступал в интриги, недостойные ни его звания, ни его характера». Тем самым он рассчитывал, что сможет укрепить свою власть, и даже намеревался отказаться от должности в случае возвращения «любимца»918.

Заметим, что Ганнинг обратил внимание на бескорыстие первого министра. И хотя посол сомневался в честности и откровенности Панина, о которых был наслышан, однако, был уверен в том, что тот «нисколько не изменил своему бескорыстию и что невозможно быть неподкупнее его»919.

Как бы то ни было, но императрица высоко и по достоинству оценила заслуги своего министра. В конце сентября 1773 г. Екатерина, отмечая годовщину своей коронации, желая доказать графу Панину свою признательность за то, «как он оправдал ее доверие исполнением возложенной на него обязанности воспитателя великого князя», пожаловала ему в вечное владение имение, приносящее 30 тыс. руб. годового дохода, а также назначила ежегодную пенсию в 30 тыс. руб., кроме 14 тыс. руб., составляющих его жалованье как министра иностранных дел. Кроме того, ему предоставили выбрать в Петербурге дом, который для него приобретут. На убранство дома было обещано выделить 100 тыс. руб., на покупку серебра – 50 тыс. руб. Ко всему прочему, в продолжение года ему позволят пользоваться придворным экипажем и погребом920. Судя по всему, Екатерина II не только благодарила Панина за его прошлые заслуги, но и как бы подготавливала действующего министра к предстоящей отставке.