8 июня 1785 года Екатерина сообщала великому князю Павлу: «Я здорова и уже на обратном пути; ночевать буду в Торжке, а завтра приеду в Вышний Волочек. Петровский дом очень хорошенькая квартира, два другие же, т. е. новые дворцы, Московский и Царицынский, не окончены; последний внутри должен быть изменен, ибо так в нем бы невозможно жить; Коломенский же такой, каким я его оставила. Москва улучшается ; строят много и весьма хорошо; водопровод большое предприятие, над которым теперь работают».

Из этого короткого письма мы узнаем, что помимо дворца в Царицыне продолжалось строительство и еще одной царской резиденции. Московским государыня называет Екатерининский дворец в Лефортове, возводившийся еще более длительный срок. Так откуда же взять денег на все? К тому же у Екатерины зародилась новая всепоглощающая идея - выстроить в окрестностях Петербурга еще один грандиозный дворец, на мызе Пелла. Своими размерами он значительно превосходил царицынский ансамбль. «Все мои дворцы только хижины по сравнению с Пеллой, которая воздвигается как феникс», - писала императрица барону Гримму в 1786 году. А назревающая война со Швецией требовала от казны расходов еще большего порядка.

Но пока она надеется изменить интерьер дворца в Царицыне, что и поручает Баженову, а также Казакову: «Сделать планы о переправке со сметами». Свое влияние на Екатерину употребил и Григорий Потемкин, который и привез Екатерину впервые в Черную Грязь. Он уверял, что все еще можно поправить. Его тоже можно было понять.

Из представленных в начале 1786 года проектов перестройки резиденции в Царицыне государыне не понравился ни один. А в феврале того же года обнародовано было распоряжение Екатерины II «О разборке в селе Царицыне построенного главного корпуса до основания и о производстве потом (нового здания) по вновь конфирмованному, учиненному архитектором Казаковым плану». Иными словами, к сносу приговаривались корпуса дворцов, а второстепенные постройки - корпуса, мосты, ворота и беседки - оставались на своих местах. Новый проект Казакова превращал камерный дворец императрицы в парадную резиденцию.

Так вновь пересеклись пути Баженова и Казакова, выбор кандидатуры которого в качестве автора нового дворца в Царицыне был очевиден, ибо императрице весьма понравился его Петровский путевой дворец. Для Баженова же это стало второй катастрофой, его едва не хватил удар.

Но проделанная им работа не осталась недооцененной. Баженов и сегодня видится как смелый и талантливый новатор, жаль, что этого не поняла Екатерина. Выдающийся искусствовед М.А. Ильин писал: «Баженов решил создать совершенно новый тип усадьбы. Обычно загородная царская усадьба мало чем отличалась от дворца в столице, разве только большей площадью и большим количеством построек. По мысли зодчего, новая резиденция должна была получить совершенно иной характер, далекий от пышных и величественных дворцовых резиденций. Он не только хотел применить традиционную для древней Руси живописную композицию усадебного ансамбля, но подчеркнуть масштабом построек и характером убранства интимность и лирическую задушевность русской архитектуры.