Так что не зря на гербе Касимова изображено «в голубом поле корабельное основание, означающее, что из сего места доставляются к строению корабельному принадлежащие леса».

Однако самые большие изменения произошли в городе после вступления на трон императрицы Екатерины II. В 1763 году она издала Указ «О сделании всем городам, их строению и улицам специальных планов, по каждой губернии особо». Генерал Симонов, назначенный управлять Касимовым незадолго до выхода указа, решил отличиться и активно взялся за реконструкцию города. Начал с Татарской стороны. Первым делом были снесены остатки крепостных укреплений и пришедший в ветхость ханский дворец. Ломать – не строить, и мы теперь вряд ли узнаем, каким был касимовский замок.

Член Императорской Академии наук П. С. Паллас, оказавшись в Касимове в 1768 году, так описал состояние города: «Касимов расположен на горе, сложенной из известняковых пластов… Несмотря на это изобилие камня, который можно использовать для строительства и для обжига извести, и невзирая на то, что… в 11 верстах отсюда, имеется еще более лучший известняк, весь город тем не менее построен из дерева; бревнами вымощены даже улицы. И уж совсем, кажется, трудно поверить в то, что там изготавливают кирпичи, дабы возвести из них стену вокруг церкви и новой татарской мечети.

Татары, ранее господствовавшие в Касимове, были в этом отношении мудрее. Все памятники, оставшиеся от их былого величия, построены на века из прекрасного, весьма тщательно обтесанного бутового камня… Эти памятники простояли бы еще многие столетия, если бы в наше просвещенное время своекорыстие одного единственного человека не разрушило их все самым что ни на есть варварским способом. С грустью показывали мне местные татары груды камней, в которые были превращены остатки старого ханского дворца и некогда внушительные ворота, украшенные готическими капителями и арабскими надписями.