Немало трудностей вызвало проектирование башен и их вспомогательных механизмов, что неудивительно – новое всегда достигается с трудом. После многократных переделок проекта в 1868 г. приступили к работам по сформированию острова будущей башенной батареи. Впервые в крепости применили водолазный аппарат для исследования дна залива на месте постройки. По проекту батарея представляла собой в плане прямоугольный остров с казематированной постройкой в виде вытянутой буквы «П». В передней, ближней к эскарпу части батареи располагались башни и погреба для них. В тыловой части располагались жилые помещения для артиллеристов. По оконечностям батареи, в нескольких сдвинутых в тыл казематах размещались офицеры. Две большие аппарели из гранитных блоков вели на валганг батареи, причем аппарели имели как гладкий спуск, так и лестничный.
Батарея с трех сторон была отсыпана земляным эскарпом, и только горжевая стена оставалась открытой, куда выходили двери и окна жилых казематов. Фасад горжевой стены был богато, для подобных построек, декорирован рустовками, пилястрами, лопатками. Центральный вход в батарею имел гранитный полукруглый аттик и напоминал вход в старинный замок. Остров батареи имел мощную конструкцию. Ряжи установили только под набережную и фронтальную эскарповую стенки. Массив казематов опирался на дно залива посредством сплошного сводного основания, с забутовкой пространства между свай булыжным камнем. Поверх головок свай шла сплошная постель из булыжного камня на растворе. Шесть шпунтовых линий вдоль всего острова не позволяли смещаться грунту. Массив батареи строился из кирпича, но все основные массивы, в том числе и башенные колодцы, строились из гранитных блоков.
На батарее установили шесть башен системы Кольза, в каждой из которых располагалось по одному 11-дюймовому орудию образца 1867 г. Диаметр башни составлял 8,5 м. Толщина брони – 30 см на тиковой подкладке, внутренняя броня имела толщину 7,5 см. Башни вращались посредством паровых машин. Полный вес одной башни составлял 500 т. Основные строительные работы были завершены к 1871 г. Но самое главное – работы по монтажу брони – еще предстояло выполнить. Экономические трудности в стране приостановили работы на башенной батарее. Завод Берда в Санкт-Петербурге, изготовлявший броню, столкнулся с серьезными техническими проблемами, ведь в России броневое производство только налаживалось. Окончательно батарея была закончена лишь в 1879 г.
В 1880 г. ее посетил император Александр II, после чего вышел его указ, переименовавший батарею в форт «Граф Милютин» в честь военного министра, проводившего обширные военные реформы в России. В 1886 г. на форту усилили своды жилых казематов укладкой дополнительного бетона. Между башнями возвели железные кровли для отвода атмосферных вод. На батарее устроили электрическое освещение от аккумуляторов, которые заряжались от паровых машин башенных установок.