Прежде чем добраться до высшей степени во флотской иерархии, Алексей Александрович участвовал в дальних плаваньях, побывал в США и Японии, а в Русско-турецкую войну 1877–1878 годов назначен начальником морских команд на Дунае, где заслужил орден Св. Георгия IV степени.
В июле 1881 года он стал Главным начальником флота и Морского ведомства, сменив на этих постах своего дядю Константина Николаевича. Еще через два года великий князь произведен в генерал-адмиралы, став последним в России, кто удостоился этого высокого звания.
Не имея тяги к рутинной административной работе, Алексей Александрович фактически переложил руководящие заботы на управляющих Морским министерством. Должность эту последовательно занимали люди разного уровня дарований (Алексей Алексеевич Пещуров в 1880–1882 гг., Иван Алексеевич Шестаков в 1882–1888 гг., Николай Матвеевич Чихачев в 1888–1896 гг., Павел Петрович Тыртов в 1896–1903 гг., Федор Карлович Авелан в 1903–1905 гг.), но ни один из них не оказался способен составить прорывную в стратегическом смысле программу, гарантирующую русскому флоту сохранение тех ведущих позиций, которых он достиг в предыдущее царствование.
Среди положительных нововведений отмечали введение морского ценза, издание положения о вознаграждении за долговременное командование судами I и II ранга, преобразование корпуса инженер-механиков и корабельных инженеров, увеличение числа экипажей, строительство новых броненосцев и крейсеров, портов в Севастополе и Порт-Артуре, а также расширение доков в Кронштадте, Владивостоке и Севастополе.
Однако при этом флот в таких сферах, как вооружение, новые технологии и особенно управление, по темпам развития отставал от флотов потенциальных противников, что в полной мере и проявилось в ходе войны с Японией.
Общество не без оснований считало Алексея Александровича одним из виновников катастрофы, и после Цусимского разгрома его отправили в отставку.
Покинув Россию, великий князь много путешествовал по Европе и скончался в Париже. Его тело со всеми почестями доставили в Петербург и похоронили в Петропавловском соборе.
Великий князь так и не связал себя узами официального брака, хотя на протяжении нескольких лет (1866–1874 гг.) у него был роман с фрейлиной Александрой Васильевной Жуковской (1842–1912), дочерью знаменитого поэта и наставника императора Александра II. Плод этого романа – сын Алексей Алексеевич Белевский-Жуковский (1871–1932), служивший в адъютантах у своего дяди Сергея Александровича, после революции ставший ученым-биологом и расстрелянный чекистами в Тбилиси[317].