В свою очередь Великий князь Константин Константинович, гостившей вместе с женой в Ильинском в сентябре 1884 года, записал в дневнике: «Жена проводит большую часть дня с Эллой, с которой она сошлась. Мне Элла тоже очень нравится. Она так женственна, я не налюбуюсь ее красотой. Глаза ее удивительно красиво очерчены и глядят так спокойно и мягко. В ней, несмотря на всю ее кротость и застенчивость, чувствуется некоторая самоуверенность, сознание своей силы. Мы начинаем, кажется, с ней сближаться, она теперь менее со мной стесняется. Не могу сказать, чтобы Сергей очень много сидел с ней, но у них прелестные отношения».
Они делили общую постель, были на людях всегда нежны и предупредительны между собой. Но этот брак был окутан плотной пеленой слухов. Говорили, что Сергей и Элла стали мужем и женой лишь номинально, лишь для того, чтобы «прикрыть грехи» Сергея и поддержать престиж Династии. Накануне и после церковной канонизации Елизаветы Федоровны тезис о ее непорочности получил большое распространение, хотя базируется на весьма сомнительных слухах. Невозможно вообразить, чтобы их брак стал результатом столь циничной сделки, в которой должны были быть замешаны и Император Александр III, человек честный и открытый, и многие другие из числа родственников и в России, и за границей.
У них не могло быть потомства, и о том знал Царь. В апреле 1892 года Александр III в письме жене, говоря о своих радостных отцовских чувствах, с грустью заметил: «Бедный Сергей и Элла, часто о них думаю; на всю жизнь лишены они этого великого утешения в жизни и великого благословения Господня».
Да, они были этого лишены. Однако совершенно необязательно связывать этот факт с какой-то неестественной «ориентацией» Великого князя. Александр III, человек патриархального воспитания и консервативных представлений, никогда не мог бы принять как должное противоестественные наклонности своего брата, к которому он всегда относился с неизменной симпатией. Император, несомненно, знал какую-то тайну в жизни Сергея и сострадал ему.
Любил ли Сергей Александрович свою жену? Да, это не подлежит сомнению. Элла для него стала самым близким, самым дорогим существом, человеком, с которым был совершенно откровенен и делился своими радостями и печалями. Великий князь считал своим долгом заботиться не только о ее благополучии, но о духовном и эстетическом развитии.
Он совершал с ней многочисленные поездки по святым местам в России и за границей. Они вместе молились в подземной базилике Ватикана у гробницы Апостола Петра, в городе Бари у мощей Святителя Николая Чудотворца и на Афоне.