Через 10лет в 1785 г. Екатерина в сопровождении свиты решила осмотреть строительство. По преданию, увидев почти готовый дворец, она воскликнула: «Это склеп, а не дворец!» — и тут же приказала сломать его. Чем был вызван гнев императрицы, до сих пор не ясно. Возможно, царица разгневалась, что ее дворец и палаты цесаревича Павла оказались одинакового размера. Возможно, гнев императрицы вызвало изобилие масонской символики. Василий Баженов был издавна знаком с наследником престола и, приезжая в Петербург, передавал ему напечатанные в Москве тайные книги вольных каменщиков. Подозрительная Екатерина обвинила масонов в том, что они хотят подчинить себе наследника и посадить его на российский трон. Ложи были закрыты, типографии разгромлены, а издатель масон Новиков, принявший когда-то Баженова в масонский орден, заключен в крепость. Самого архитектора не тронули, но работы для него у царицы больше не нашлось.

Сооружение нового дворца было поручено Матвею Казакову. Он полностью снес старые постройки, и вскоре по его проекту возвели похожий на сказочный готический замок-дворец. Практически законченный, он внезапно загорелся и рухнул. После смерти Екатерины дворец был заброшен и спустя несколько лет напоминал «мрачную развалину».

Судьба самого Василия Баженова сложилась так же трагично, как и судьба его творения. Словно злой рок преследовал великого зодчего. В 1760 году Академия художеств направляет его для совершенствования во Францию. Здесь Баженова ждет настоящий триумф. После Парижа — Италия и новый триумф. В 1765 г. Баженов, увенчанный лаврами, возвращается в Академию художеств и не получает ни звания профессора, ни работы в Академии. Наконец, талантливому зодчему поручают постройку нового Кремлевского дворца в Московском Кремле. Несколько лет уходит на разработку проектов, создание модели и подготовку строительства. Но в 1775 г. следует приказ Екатерины — работы прекратить, котлован засыпать! Без объяснения причин.

Вскоре архитектору поручается создание загородной царской резиденции Царицыно. И снова десять лет напряженного творчества. И снова приказ — прекратить, без объяснения причин. Оба его грандиозных замысла не только не осуществились, но были преданы высочайшей анафеме.

И последняя насмешка судьбы. Здания, ансамбли, о которых мы твердо знаем, что их проектировал или строил Баженов, не построены либо разрушены. А принадлежность Баженову других зданий, которые традиционно связывают с великим зодчим, не подтверждается документально. Что ни здание, то тайна.

В XIX веке были попытки достроить царицынский дворец, вначале для вдовы Александра I, затем для Николая I. Но по странному стечению обстоятельств замыслы эти оставались невыполненными. В 60-е годы XIX века попытались продать все царицынские постройки на снос. Несмотря на низкую цену, покупателей так и не нашлось. Стены рушились, а необъяснимые страшные пожары довершали дело.