Отец генерал-адмирал видел в сыне своего продолжателя, способного вырасти в руководителя флота, а потому главным воспитателем назначил капитана 1-го ранга А.И. Зеленого.
В 1874 и 1876 годах Константин-младший совершил плавания в Атлантику на фрегате «Светлана», после чего произведен в мичманы. Во время Русско-турецкой войны (1877–1878 гг.) на Дунае возле Силистрии лично руководил брандером, атаковавшим турецкий пароход, и награжден орденом Св. Георгия IV степени.
Однако морская служба не прельщала великого князя. В 1881 году, посетив во время плавания монастырь на Афоне, Константин Константинович в беседе с одним из старцев выразил желание постричься в монахи. Но, по словам самого великого князя, старец сказал, что «пока ждет меня иная служба, иные обязанности, а со временем, быть может, Господь благословит намерение. Дай Бог, чтобы сбылись слова святого старца».
Из-за слабых легких великий князь перевелся в армию и в 1891 году, помимо производства в полковники, назначен командиром самого престижного лейб-гвардии Преображенского полка.
С 1900 года Константин Константинович в качестве Главного начальника возглавлял все Военно-учебные заведения империи. Юнкера и кадеты буквально души не чаяли в великом князе, который с большим вниманием относился к их нуждам и был настоящим образцом служения Отечеству. В одном из приказов он писал: «Закрытое заведение обязано, по мере нравственного роста своих воспитанников, постепенно поднимать в них сознание их человеческого достоинства и бережно устранять все то, что может унизить или оскорбить это достоинство. Только при этом условии воспитанники старших классов могут стать ТЕМ, чем они должны быть, – цветом и гордостью своих заведений, друзьями своих воспитателей и разумными направителями общественного мнения всей массы воспитанников в добрую сторону».
Из обнародованных в конце ХХ века записей великого князя стало известно о его гомосексуальных пристрастиях, с которыми он, человек православный, боролся, и боролся настолько успешно, что не давал никаких поводов для появления слухов, которые скомпрометировали бы не только его, но и весь Дом Романовых.
В 1907 году великий князь произведен в генералы от инфантерии, а в 1911 году назначен присутствующим в Правительствующем Сенате, что, с учетом возраста, означало почетную отставку[281]. Безукоризненно исполняя все эти годы свои армейские обязанности, великий князь параллельно вел другую жизнь – интеллектуала, мецената, ученого, литератора.