В столице широко распространялись сплетни и слухи о романах великого князя с известными красавицами, а компанию великого князя с кузеном Е.М. Лейхтенбергским и графиней Зинаидой Дмитриевной Богарне в высшем петербургском аристократическом обществе легко окрестили «тройственным союзом» на набережной реки Мойки, или «царственным любовным треугольником». Государственный секретарь А.А. Половцев в своих дневниковых записках, осуждая подобное поведение великого князя и вселившихся в его дворец постояльцев, писал о герцоге Е.М. Лейхтенбергском, как о «…лишенном всякого нравственного чувства негодяе, промышлявшим вместе с женой вымогательством больших денег у великого князя».

После смерти в 1899 г. Зинаиды Дмитриевны Богарне Алексей Александрович до последних дней своей жизни хранил портрет и мраморный бюст любимой женщины. Во дворце на Мойке тогда установились тишина и покой. Великий князь некоторое время пребывал в печали, а затем стал увлекаться актрисами Мариинского и Михайловского театров. Особый интерес для светского общества представила любовная история князя Алексея с довольно бесталанной французской актрисой Мариинского театра Элизой Балеттой, в недавнем прошлом служанкой одного из парижских отелей. Тогдашний директор Императорских театров В.А. Теляковский с горечью отмечал, что: «Балетта была очень плоха, пела фальшиво, танцевала неграциозно и походила не на актрису, а на девку. Проходя по сцене, я наталкивался на разговоры и шушуканье Балетты с Алексеем Александровичем, а Патоцкой с великим князем Николаем Николаевичем. Все это, в конце концов, противно и жаль за театр. В том, что актрисы живут с обожателями, грех не велик, но при сильных обожателях эти бездарные девки портят мне репертуар, и театр обращается в кафешантан». Благодаря протекции генерал-адмирала, Балетта в скором времени все же становится примой с самым высоким гонораром. Великий князь открыто осыпал ее дорогими презентами и ценными ювелирными изделиями фирмы Карла Фаберже. Новую пассию Алексея Александровича теперь именовали «бриллиантовое величество». Ухаживал великий князь и за балериной М.Ф. Кшесинской, которая в своих воспоминаниях отмечала, что: «В сезон 1896/97 годов великие князья Михаил Николаевич, Владимир, Павел и Алексей Александровичи, сложившись, поднесли мне бриллиантовую брошь в форме кольца с четырьмя крупными сапфирами…»

Жизнь текла своим чередом, великий князь, отошедший от активной государственной и профессиональной морской деятельности, по непонятным причинам продолжал подниматься по ступеням карьерной лестницы. В 1880 г. Алексей Александрович указом императора Александра II становится генерал-адъютантом, а в 1881 году новый император Александр III, к удивлению и негодованию офицеров флота, назначает своего брата – великого князя Алексея Александровича – на должность главного начальника Императорского флота и Морского ведомства вместо великого князя Константина Николаевича. В 1883 г. великий князь жалуется самым высоким военно-морским званием генерал-адмирала. Подобная оценка императором весьма скромных морских талантов своего младшего брата вызвала крайнее неудовольствие даже у представителей дома Романовых – великих князей. Великий князь Александр Михайлович в своих воспоминаниях отмечал о столь стремительной морской карьере великого князя: «Он состоял на государственной службе и занимал, как это ни странно, должность генерал-адмирала Российского императорского флота. Трудно было себе представить более скромные познания по морским делам, чем у этого адмирала могущественной державы… Не интересуясь решительно ничем, что не относилось бы к женщинам, еде и напиткам…»