По отъезде Государя в Крым, Клейнмихель вернулся в Петербург, и вскоре он был заменен в должности главноуправляющего путями сообщения генерал-лейтенантом Константином Владимировичем Чевкиным (впоследствии генерал-адъютант, генерал от инфантерии и председатель Департамента экономии в Государственном Совете). Известно было, что Государь, быв Наследником, не любил Клейнмихеля, но со времени его воцарения носились слухи, что Государь переменился к Клейнмихелю, так что он и жена его неоднократно были приглашаемы к Государю и к Государыне. По дороге в Москву и в самой Москве Государь был благосклонен к Клейнмихелю; в эту поездку, согласно представлению последнего, вышло повеление о наименовании железной дороги между столицами Николаевской. Казалось, что слухи о смене Клейнмихеля неправильны. Многие полагали, что он останется и при новом Императоре. Но вовсе неожиданно он получил от Государя, помнится из Николаева, письмо, в котором Государь писал о необходимости его удаления в виду общественного против него мнения. Говорят, что Клейнмихель, при получении этого письма, вышел из себя и при нескольких лицах сказал:

– Государь находит нужным, чтобы я удалился в виду общественного мнения; это что значит? Разве у него нет своего мнения?

Во всяком случае, увольнение Клейнмихеля от должности, в бытность Государя вдали от Петербурга, ясно доказывает, что трудно было ему расставаться с любимым слугой отца. Говорят, что на окончательное решение Государя много подействовал бывший в это время на юге России Великий Князь Константин Николаевич, который сам не любил Клейнмихеля и у которого многие настаивали об увольнении Клейнмихеля и, между прочими, бывший в сентябре на юге России П. П. Мельников.

{В «Моих воспоминаниях» я так часто и так много говорил о Клейнмихеле, что не имею надобности, при его увольнении от должности, делать ему подробную оценку; ограничусь только повторением вкратце уже вышесказанного, что он} был человек большого ума, без всякого образования, весьма энергичный, капризный донельзя, {но} имел большой навык распознавать людей, так что в своем обхождении с ними сообразовался с их характерами{564}. В первый мой после его увольнения приезд в Петербург в 1856 г., Клейнмихель мне рассказывал, что еще до получения им указа об увольнении Чевкин явился к нему в полной форме и просил не оставить советами и наставлениями по управлению ведомством путей сообщения.

– Я отвечал, – сказал мне Клейнмихель, – что немедля по получении указа сдам ему должность и всегда готов ему служить моими советами. Но узнав на другой день, что Чевкин отдал нелепый приказ, в котором намекает с невыгодной стороны на время моего управления, я приказал швейцару не пускать более ко мне {подлеца} горбатого.