Но проблема заключалась в том, что все его достижения, награды и положение целиком и полностью зависели от Екатерины. Он прекрасно осознавал это. Потемкин видел, что, если их разлады продолжатся, не исключено, что однажды императрица может взять верх над женщиной, и тогда она обратит на него свой гнев и избавится от него. В таком случае он станет кем-то вроде оступившегося Орлова или жалкого Васильчикова. Он не хотел рисковать. Наступал момент сделать выбор между любовью и властью. Потемкин выбрал власть. Это означало, что он должен был отказаться от любви и от Екатерины. Разумеется, не полностью. Хотя природа их интимных отношений изменилась, их связь непостижимым для двора образом по-прежнему оставалась настолько сильна, что политическое влияние Потемкина не ослабло, а, казалось, напротив, усилилось.

Двор, наблюдавший за переменой в отношениях между любовниками, считал, что в скором времени Потемкин будет отправлен в отставку. 22 июня 1776 года, когда все узнали, что императрица подарила ему Аничков дворец, который императрица Елизавета построила на Невском проспекте для Алексея Разумовского, все решили, что этот подарок сделан для того, чтобы обеспечить Потемкина новой резиденцией после его переезда из Зимнего дворца. Отчасти это было правдой. Готовясь к фактическому разрыву, Екатерину занимал вопрос, где Потемкин будет жить. Она предложила ему остаться в Зимнем дворце, но также решила подыскать другое место, где он при желании мог бы поселиться. Потемкин, который неоднократно угрожал, что уйдет от нее, принялся жаловаться, когда она поймала его на слове. Екатерина ответила ему:

«Батенька, видит Бог, я не намерена тебя выживать изо дворца. Пожалуй, живи в нем и будь спокоен <…> Буде же для диссипации на время уроненное ты находишь за лучший способ объездить губернии, о том препятствовать не буду. Возвратясь же, изволь занять свои покои во дворцах по-прежнему. Впрочем, свидетельствуюсь самим Богом, что моя к тебе привязанность тверда и неограниченна и что не сердита. Только сделай одолжение – пощади мои нервы».

«Батенька, видит Бог, я не намерена тебя выживать изо дворца. Пожалуй, живи в нем и будь спокоен <…> Буде же для диссипации на время уроненное ты находишь за лучший способ объездить губернии, о том препятствовать не буду. Возвратясь же, изволь занять свои покои во дворцах по-прежнему. Впрочем, свидетельствуюсь самим Богом, что моя к тебе привязанность тверда и неограниченна и что не сердита. Только сделай одолжение – пощади мои нервы».

Потемкин поблагодарил ее, но ответ его был уклончивым: