Наполеоновой горой называется уединенно стоящий в трех верстах выше города холм в двадцать пять сажен вышины, где, как говорят местные жители, совершилась эта переправа; к этому холму направляются иногда гуляющие. Другая гора, прямо против Николаевского проспекта, называется Петровской, в память празднования на ней в 1872 году двухсотлетия со дня рождения Петра Великого. она тоже служит местом прогулок, и вид с неё на Ковну доказывает воочию, что город этот, раскинутый на крутых боках прибрежья Немана и изгибающийся в лощинах, по внешности своей один из самых красивых.

Невдали от памятника высится незатейливой архитектуры с башенкой фасад бывшего большего дворца, в котором неоднократно останавливался Николай I; теперь в нем помещается городская дума. Лестница, коридоры, комнаты думы не велики, душны, темны и, как должно думать, вовсе не соответствуют светлым намерениям живого персонала, их одухотворяющего. Значительно ветх обликом своим видный с площади католический костел, напоминающий готические мотивы, — одно из крупнейших зданий северо-западного края, основанный в XV веке; он принадлежал монахам Августинского ордена; в нем девять алтарей.

На пороге истории Ковны, как города, высится мифическая личность Конаса, праотца литовских князей, и 1030 год. В переулке, вблизи православного собора и городской больницы, сохранился старинный дом с фронтоном, на месте которого, говорить предание, стояло капище Перуна. Говорят, будто еще в тридцатых годах нынешнего столетия в музее варшавского общества любителей наук сохранялась статуэтка Перуна, найденная в этом здании замурованной в стену графом Коссаковским. Сведение очень любопытное, но вполне мифической окраски.

Несомненные исторические цифры для Ковны начинаются с XIV века: тут уже существовали укрепления. Расположенная при слиянии Немана и Вилии, воспетая Мицкевичем, Ковна, один из древнейших литовских городов, постоянно в течение столетий служила яблоком раздора между Литвой и крестоносцами балтийского побережья. Военное и торговое значение её сливается воедино в XVI и ХVII столетиях; здесь имелись фактории: голландская, английская, прусская, шведская и венецианская, с оборотом в один миллион дукатов. В военном отношении Ковна занимала не менее видную роль. Развалины древнего замка и поныне видны при впадении Вилии, — их называют замком королевы Боны. так это или нет, — решить трудно; но верно то, что балтийские рыцари, разрушив в 1362 году замок, построили в 1384 году новый. Место для этого замка было уступлено немецким рыцарям, на протяжении семи верст в окружности, Витовтом, в мае месяце; считая этот пункт чрезвычайно важным, рыцари в течение шести недель воздвигли укрепление, причем работой было занято 60.000 человек и 80.000 лошадей. Эти цифры очень красноречивы для определения военного значения Ковны в былое время; замок назван «Ritters-Werder»; для полной недоступности он отделен каналом, соединявшим Неман с Вилией, так что стоял на острове. Уже в октябре того же года замок взят обратно Ягайлой, причем прибывший на помощь к рыцарям магистр Конрад Валленрод (имя которого сделалось программой в поэме Мицкевича) отражен. Этот момент — один из множества в истории Ковны, то и дело переходившей из рук в руки и игравшей незавидную роль мячика. Кирпичные кладки развалин башни и стен обрамляют теперь здание католической семинарии, переведенной сюда Муравьевым, для более удобного за ней наблюдения, из местечка Ворна.