Последние годы жизни она почти непрестанно болела, и сын мог видеть ее лишь урывками. Он находился почти всегда в окружении чужих людей и хотя имел четверых братьев и сестру, но жизнь сложилась так, что близкие отношения установились лишь с братом Павлом, который был на три года младше, и кузеном Великим князем Константином Константиновичем. Одиночество, которое часто ощущал князь Сергей с юности, скрашивали книги.

Великий князь получил блестящее образование, великолепно владел английским, немецким и французским языками, позднее начал изучать итальянский, чтобы читать в оригинале любимого им Данте. Испытывал большой интерес к отечественной и мировой истории, к европейской и русской литературе. Был музыкально и художественно образован. С детских лет увлекался живописью и хотя сам в живописном мастерстве высот особых не достиг, но знания имел обширные, в совершенстве разбирался в итальянском изобразительном искусстве, где его особенно привлекала флорентийская школа.

Князь Сергей всю жизнь оставался глубоко верующим человеком и никогда не сомневался, что «на все воля Божья». Религиозные настроения чрезвычайно усилились после смерти матери (22 мая 1880 года) и убийства отца (1 марта 1881 года). В апреле того несчастного года в одном из писем восклицал: «Господи, помоги и мне, научи меня любить Тебя всею душою моею, всем сердцем моим и всем помыслом моим».

В мае того же года он уехал в Иерусалим, чтобы там, молитвой у Гроба Господня, подкрепить свои душевные силы. Когда вернулся в Петербург, то в его жизни многое изменилось, но сам он изменился мало. Его, как и раньше, тянуло к тишине и уединению, но в силу своего рождения и общественного положения он был лишен выбирать угодный себе образ жизни. Ненавидя высший свет всей душой, понимая всю его фальшь и пустоту, Сергей не мог самоустраниться от требований придворного этикета и Династических обязанностей.

Балы, вечера, семейные обеды, торжественные выходы, военные парады, праздничные церковные службы – и везде надо было присутствовать, везде надлежало «показывать себя». Сотни внимательных глаз пристально и заинтересованно следили за каждым шагом, жестом, словом. В лицо заискивали и льстили, а за глаза сплетничали и критиковали.

Сергей Александрович все это знал, но не придавал тому большого значения и часто откровенно демонстрировал пренебрежение к мнению «светской черни». Придворные круги, законодатели и завсегдатаи влиятельных петербургских салонов не могли этого понять и принять. Пренебрежение к себе высший свет никому не прощал и платил отступнику жестокой клеветой. Это было испытанное оружие мести, и давно было известно, как написал классик, что «злые языки – страшнее пистолета». Сын Императора Александра II ощутил это в полной мере.