После целого ряда подобных инцидентов великий князь Алексей Александрович сам подал рапорт об отставке, а Элиза Балетта вынуждена была покинуть пределы Российский империи, забрав с собой в Париж подарки князя.

В июле 1905 г. императорским указом великий князь Алексей Александрович был уволен от должности главного начальника флота и Морского ведомства, но с оставлением ему в отставке звания генерал-адмирала. В дневнике Николая II тогда появилась запись: «…дядя Алексей объявил, что желает уйти теперь же. Ввиду серьезности доводов, я согласился». После отставки генерал-адмирал уехал в свой любимый Париж, в котором с удовольствием продолжил привычный образ жизни. Там он вскоре, 1 ноября 1908 г., скоропостижно скончался от воспаления легких. Начальник Кабинета императорского двора А.А. Мослов сообщал: «Скончался в Париже великий князь Алексей Александрович, брат императора Александра III. Сложив с себя звание генерал-адмирала после гибели эскадры Рожественского при Цусиме, он последние годы своей жизни провел во Франции. Это был один из самых красивых по внешности членов императорский фамилии. Я убедился в Париже, насколько он поражал своею наружностью. Как-то, гуляя на бульварах, я заметил впереди себя высокого мужчину. Прохожие, видя его, останавливались, а некоторые даже восклицали: „Какой красавец!“. Подойдя ближе, я узнал великого князя, в штатском платье, с покупками в руках…»

Похоронили Алексея Александровича в церкви Св. Александра Невского в великокняжеской усыпальнице при Петропавловском соборе.

Посмертная репутация великого князя долгий период складывалась на основании его роли в трагических событиях гибели флота и русских моряков при Цусиме и отчасти из мемуаров великих князей, особенно Александра Михайловича, и также мнений его некоторых доброжелателей, среди которых было немало женщин. Известная петербургская мемуаристка А.В. Богданович сердито писала: «Скончался Алексей Александрович в Париже. Как генерал-адмирал Алексей Александрович никуда не годился, при нем начались все неурядицы в морском ведомстве. Хищения при нем процветали. Он сжег свою жизнь разгулом: при вскрытии тела обнаружили: печень начала разлагаться еще у живого, сердце вдвое больше нормы, а легкие как решето…»

Официально наследниками бездетного великого князя Алексея Александровича стали его братья Владимир и Павел Александровичи и племенник – великий князь Михаил Александрович, распродавшие на аукционе не только значительную часть имущества покойного, но и часть принадлежавшего ему участка. Большую часть сада с оранжереями приобрел в 1910 г. знаменитый богатый владелец кондитерской и шоколадной фабрики столицы Жорж Борман. Оставшуюся часть сада великого князя купил в 1911 г. один из ведущих директоров русско-американской резиновой мануфактуры Генрих фон ван дер Пальс.