Правда, печально осознавать, что время и бесхозяйственное отношение к всемирно известному памятнику зодчества свершили свое варварское дело. Ансамбль разрушается, он во многом утратил свой блеск, разделив печальную судьбу многих архитектурных памятников заповедной Коломны. Осыпающиеся кирпичи, обшарпанные, почерневшие от времени изуродованные стены. Заросшие деревьями и непроходимым кустарником берега окружающих Новую Голландию каналов. Куда девались прежнее величие и красота знаменитого ансамбля?.. И все же сегодня, отражаясь в тихих водах Мойки, величественная арка слабо колышется в ее водном зеркале, и ждешь, что в следующее мгновение вдруг послышится плеск весел о воду, и в старую протоку, в глубь Новой Голландии войдет петровская боевая галера с командой военных гребцов.
Краевед Н. А. Синдаловский в книге «По Петербургу» заметил: «Петербургская городская фразеология не раз предоставляла возможность внимательнее и глубже вглядеться в архитектурную историю города. В самом деле, кажется, какое отношение к Петербургу может иметь такое знакомое каждому предупреждение: „Не лезь в бутылку“, то есть веди себя спокойно, не заводись, не нарывайся на неприятность! Оказывается, самое прямое». По легенде, архитектор А. Е. Штауберт, построивший на территории острова здание Морской тюрьмы, назвал свое детище «Башней», а в народе его окрестили «Бутылкой». Со стороны эта постройка действительно очень уж походила на знакомый всем сосуд, продаваемый в казенных лавках с белой или красной сургучной головкой. Попасть в «Бутылку» для жителей старого Петербурга было далеко не самым лучшим событием в их жизни.
Вскоре после подавления в 1820 году восстания Семеновского полка и в 1825-м выступления декабристов в незастроенной западной части Новой Голландии специально отвели участок для строительства здания Военно-морской исправительной тюрьмы. Разработку проекта в 1828 году поручили архитектору Военного ведомства А. Е. Штауберту. Реализованный в 1829 году проект зодчего предусматривал сооружение трехэтажного кольцеобразного «казенного дома» с круглым внутренним двориком. Сам автор действительно называл свое сооружение «Башней», а позже – «Бутылкой». Первый этаж занимали тюремная охрана и помещения арестантской кухни, пекарни и продовольственных кладовых. Тюремные камеры разместили на втором и третьем этажах. Они были рассчитаны на размещение 500 заключенных. От складов Морскую тюрьму отделяла специальная высокая ограда. В 1863 году Военно-морскую тюрьму в Новой Голландии существенно реконструировали, после чего она официально стала называться Военно-исправительной тюрьмой Морского ведомства Балтийского флота. Проектом военного инженера, штаб-капитана Н. А. Лифантьева в первом этаже здания предусматривалось помещение канцелярии и тюремных камер для осужденных на длительные сроки. Второй и третий этажи отводились для военнослужащих, приговоренных на непродолжительные сроки тюремного заключения. В процессе реконструкции здания тюрьмы строение укрепили капитальными внутренними стенами, на втором и третьем этажах заделали стенные проемы, а также усилили фундамент здания.