В двадцать лет великий князь серьезно увлекся фрейлиной Александрой Васильевной Жуковской – дочерью великого поэта, обаятельной, красивой девушкой. Тогда стали распространяться в светском обществе столицы слухи, что после длительных бесполезных просьб влюбленного князя о монаршем разрешении морганатического брака Алексей Александрович тайно обвенчался с Александрой Васильевной Жуковской в Италии. Отец жениха, император Александр II, не соизволил тогда признать брак действительным и якобы аннулировал его, несмотря на то, что императрица Мария Александровна продолжала поддерживать и оказывать милости своей любимой фрейлине. Продолжавшего же упорно настаивать на законности совершенного обряда бракосочетания великого князя, разлученного со своей супругой, император спешно отправил с адмиралом Посьетом в двухлетнее плавание к берегам Североамериканских Штатов.
Великий князь официально продолжал считаться свободным холостым молодым человеком. Родившийся же в доме В.А. Жуковского в Зальцбурге сын от этого брака – Алексей Алексеевич Жуковский, при рождении получил титул барона Седжиано. После коронования нового российского императора Александра III, его незаконнорожденный племянник – барон Седжиано – и его будущие потомки возводятся в 1884 г. царским указом в российское графское достоинство и вписываются по повелению императора в родословную под фамилией графов Жуковских-Белевских. Этот побочный сын великого князя впоследствии служил в Москве адъютантом великого князя Сергея Александровича.
В марте 1891 г. великий князь Алексей Александрович традиционно обсуждал с Государственным секретарем А.А. Половцевым вопросы своего наследства.
Александр Александрович вспоминал: «Великий князь Алексей Александрович имеет незаконного сына графа Белевского, для которого он составил капитал, сообразно имеющимся у него средствам, но никогда не придет ему в голову мысль оставить этому побочному сыну все свое состояние в ущерб своим родным братьям». И действительно, после смерти в 1908 г. великого князя Алексея Александровича наследниками официально бездетного генерал-адмирала признаны были его братья великие князья – Владимир Александрович, Павел Александрович и племянник Михаил Александрович, они поручили генерал-майору Е.П. Долинскому оценить оставшееся после кончины брата и дяди имущество.
Первая же любовь великого князя – фрейлина Александра Васильевна Жуковская – осталась в Германии, где вышла замуж за барона Г. фон Веррмана и в 1893 г. скончалась в Дрездене.