Завадовский оправдал надежды Екатерины и принес в ее жизнь радость. Он был страстным и совершенно уникальным среди ее любовников, поскольку не жаждал ни почестей, ни богатства. Их общение было полно страсти: Екатерина обращалась к нему в уменьшительной форме, а он называл ее Катей и Катюшей. Когда Завадовский только переехал в Зимний, все могло сложиться вполне благополучно, если бы им не овладела одержимая любовь к Екатерине, а вслед за ней – жестокая ревность к Потемкину. Он хотел, а впоследствии и стал требовать, полной близости и жаловался, что тень предшественника всегда преграждала ему путь. Екатерина пыталась объяснить ситуацию и свои чувства. Но Завадовский не хотел ее слушать. Это и стало причиной его падения.
28 июня Завадовский стал официальным фаворитом. Несколькими днями ранее Потемкин покинул столицу и отправился в Новгород. Он отсутствовал четыре недели. Все это время Завадовский чувствовал себя несчастным: он не был придворным, и дворцовая жизнь утомляла его. Завадовский слишком плохо говорил по-французски, чтобы участвовать в светских беседах. Потемкин также был несчастен. Вернувшись в конце июля, он пожаловался императрице на свое одиночество и на то, что ему некуда было идти. Екатерина ответила: «Мой муж сказал мне только что: «Куда мне идти, куда мне деваться?» Мой дорогой и горячо любимый супруг, придите ко мне: вы будете встречены с распростертыми объятиями».
Потемкин, который прежде утвердил кандидатуру своего последователя, теперь понял, что Завадовский начал представлять угрозу не только его личной жизни, но и публичному положению. Он пожаловался Екатерине. Она, надеявшаяся обрести умиротворение в своем окружении, поняла, что теперь ей придется мириться с ревностью и Завадовского, и Потемкина. Весной 1777 года Потемкин не присутствовал на дне рождения Екатерины, он удалился в загородное поместье. В безапелляционной форме он потребовал отставки Завадовского. Екатерина отказала:
«Просишь ты отдаления Завадовского. Слава моя страждет всячески от исполнения сей просьбы. Плевелы тем самым утвердятся и только почтут меня притом слабою более, нежели с одной стороны. И совокуплю к тому несправедливость и гонение на невинного человека. Не требуй несправедливостей, закрой уши от наушников, дай уважение моим словам. Покой наш восстановится. Буде горесть моя тебя трогает, отложи из ума и помышления твои от меня отдалиться. Ей Богу, одно воображение сие для меня несносно, из чего еще утверждается, что моя к тебе привязанность сильнее твоей».
«Просишь ты отдаления Завадовского. Слава моя страждет всячески от исполнения сей просьбы. Плевелы тем самым утвердятся и только почтут меня притом слабою более, нежели с одной стороны. И совокуплю к тому несправедливость и гонение на невинного человека. Не требуй несправедливостей, закрой уши от наушников, дай уважение моим словам. Покой наш восстановится. Буде горесть моя тебя трогает, отложи из ума и помышления твои от меня отдалиться. Ей Богу, одно воображение сие для меня несносно, из чего еще утверждается, что моя к тебе привязанность сильнее твоей».