Совет великого просветителя не проник в сердце непоследовательной императрицы, а потому денег на строительство Кремлевского дворца она не давала. Деньги-то как раз многое значат, особливо в деле строительства такого грандиозного здания. Работы почти не финансировались. На вопросы Баженова Екатерина отвечала: «Прибавки суммы денег ныне не будет, а производить работы из прежде определенных денег, располагая на что оных стать может».

Это была первая катастрофа Баженова, мечтавшего воплотить в камне свои архитектурные идеи планетарного масштаба. Не зря стажировался архитектор на тлетворном Западе. Кое-кто из придворных уже тогда разглядел в сложной символике Большого Кремлевского дворца масонские мотивы. И это тоже сыграло свою роль в крахе проекта.

Хотя с высоты сегодняшнего дня отстранение Баженова кажется нам верным. Сегодня его бы просто заклевали защитники архитектурной старины. В самом деле, ведь он замахнулся на святое - на кремлевскую стену, которую, несмотря на отсутствие финансирования, даже успели разобрать к 1775 году (ее потом пришлось восстанавливать тому же Казакову). Вместо стены должна была появиться сплошная череда зданий, а многие постройки времен еще Ивана Грозного намечалось снести.

Вместо дворца в Кремле пресытившаяся барыня на троне вздумала в 1774 году выстроить себе резиденцию на Пречистенке. Проект нового дворца она поручила создать Матвею Казакову, которого она как бы отняла у Баженова, причинив ему еще больший моральный ущерб. Хотя впоследствии она и выказала недовольство Пречистенским дворцом (ей было в нем слишком тесно), для Казакова это стало началом нового этапа архитектурной карьеры. Заказы на него посыпались как из рога изобилия. Первым стал проект Петровского путевого дворца, предназначенного для остановок государыни по дороге в Москву.

А Баженов в этом же 1775 году приступил к работе над проектом резиденции в Царицыне, представлявшейся зодчему как камерная усадьба для императрицы и ее ближнего круга. Итогом напряженного труда архитектора стали два варианта, последний из которых более всего понравился заказчице. Екатерине были представлены тщательно исполненные фасады и планы дворца. По нетривиальному замыслу Баженова архитектурный ансамбль состоял не из одного огромного дворца, а из нескольких небольших зданий, одно из которых предназначалось самой Екатерине, а другое - семье сына, великого князя Павла. Большой дворец и симметричный ему дворец Павла были сходны по планировке. Были также спроектированы Средний и Малый дворцы и три кавалерских корпуса.