С 1490 года владели замком князья Масальские, которым добрый король Александр со временем даровал и право на свободную торговлю по Двине. Правда, после погрома 1515 года замок лежал в руинах, но сомневаться в том, что хозяева его скоро восстановят, не приходилось. Оттого и спешила барбашинская рать занять выгодное место, пока хозяева не опомнились.

Крепостной розмысл внимательно пригляделся к окрестностям. Конечно, так и подмывало построить крепость на острове, но, сложив только ему понятные плюсы и минусы, он решил, что мастера литвины были правы и крепость стоит строить на берегу, правда, в одном он был не уверен: строить там, где стоял замок Масальских или на другом берегу Друйки. К сожалению, таких подробностей Андрей не знал, и подсказать розмыслу как будет лучше, не мог.

В конце концов, посовещавшись со всеми начальными людьми, Михаил принял решение строить там, где строили литвины. И работа закипела.

Посошные мужики и полоняне валили лес, очищали брёвна от коры и сучков, часть деревьев распускали на доски, которые кромили тут же, на берегу, рыли ров и ямы под фундамент. Ратные же несли дозорную службу, совершали дерзкие набеги на литвинов сами или рубились с отрядами, посланными из Браславля, гарнизон которого, к счастью, был малочисленнен и ничего серьёзного, кроме тех же набегов, предложить не мог.

Глядя на всё это, Андрей был восхищён: всё же умели работать предки. За каких-то три месяца на пустом месте возникла мощная крепость. Несмотря на то, что она была древесно-земляная, она была очень прочная, возведенная в виде деревянных срубов, заполненных глиной. Наружные стены также были обложены глиной. Расположили крепость на высоком месте, да ещё и подсыпали вал землёй извлекаемой из будущего рва. Она имела восемь башен, из них две воротные. Угловая башня северной стены имела въездные ворота, из которых дорога разбегалась к берегу Двины и по мосту через Друйку в посад. Вторые ворота находились на южной стороне. Отсюда дорога уходила на литовский Браславль.

Когда работы были почти закончены, в устье Друйки соорудили плотину, которая подняла уровень воды настолько, что это позволило заполнить глубокие рвы, выкопанные вокруг крепости. Склоны рвов были уложены бревнами, которые от воды покрылись водорослями и стали скользкими. Северо-западная сторона крепости была защищена уже самой Друйкой.

На вооружение новой крепости по Двине из Полоцка доставили пушки, достаточное количество боеприпасов и продовольствия, что позволяло ей выдержать длительную осаду. Расположенная на границе сразу трёх государств - Руси, Литвы и Ливонии - этот форпост грозился стать изрядной занозой для двух последних и надёжной защитой для торговых караванов, что пойдут из Руси в Ригу.