По восшествии на престол императора Александра I он был освобождён вместе со всеми лицами, замешанными в деле Каховского. Тогда Ермолов приехал в Петербург, но там уже выступили на сцену новые лица и новые интересы, среди которых он был чужим на пиру. Генерал Ламб, президент Военной коллегии, впрочем, взялся по старому знакомству похлопотать об Ермолове.

После долгих хлопот и не прежде, чем, по выражению Ермолова, «он наскучил всему миру секретарей и писцов», являясь ежедневно в Военную коллегию, Ермолов был принят тем же чином на службу в 8-й артиллерийский полк и получил роту, квартировавшую в Вильне.

Время, проведённое Алексеем Петровичем в ссылке, отразилось навсегда на его характере неизгладимыми чертами. Он стал сосредоточен, задумчив и полюбил уединение.

«Я редко или почти никогда весел не бываю, сижу один дома, – писал он одному из своих друзей. – Я сыскал себе славного учителя на кларнете и страшно надуваю, и по-латыне упражняюсь».

Кроме того, аресты и ссылка развили в нём мнительность, и всякая безделица беспокоила его и заставляла страшиться новых неприятностей в том же знакомом роде. Вот один интересный случай, который рассказывает г. Дубровин. Один из офицеров Алексея Петровича проиграл 600 рублей казённых денег. Ермолов тотчас же арестовал его, взыскал деньги с выигравших и, уступив просьбам, а главное, «избегая случая сделать человеку несчастие, сам собою испытавши, сколько тягостно переносить оное», согласился скрыть это дело и не доносить начальству о проступке офицера.

По частному письму его к начальнику офицер был переведён по неспособности в Кизлярскую гарнизонную роту. Офицер обиделся за то, что его признали неспособным, и решился лучше во всём признаться. Ермолов страшно встревожился; ему мерещились всяческие беды за сокрытие преступления подчинённого, и он не прежде успокоился, как тогда, когда офицер согласился не поднимать этого дела и ехать в Кизлярский гарнизон.

«Страшно боюсь я хлопот, – писал он по этому поводу к своему другу, – трехлетнее несчастье сделало меня робким».

Отсталое и почти запамятное положение по службе ужасно тяготило Ермолова. Благодаря всему с ним случившемуся прежние товарищи обогнали его в чинах, а ему приходилось прозябать в неизвестности и относительном бездействии.

Не имея ничего определённого в виду, он бросался из стороны в сторону: то хотел перейти в инженеры и сопровождать генерала Анрепа на Ионические острова, то хлопотал о переводе в казаки. (Тогда же, вероятно, ему пришла и комическая мысль «проситься и в немцы», но тогда ему было не до шуток, к которым он нисходил порою в весёлые минуты в старости.)