При Павле I Алексею Петровичу пришлось побывать в казематах Петропавловской крепости и ссылке. Причиной этого были его прямота и чувство собственного достоинства — нагрубил генералу из немцев. Ермолов был остёр на язык, и это тоже не благоприятствовало его карьере. Д. В. Давыдов, двоюродный брат Алексея Петровича, спрашивал в одном из своих писем: «Во что обмакиваете вы перо ваше, потому что с него стекают не чернила, а желчь?»

При восшествии на престол Александра I Ермолов был освобождён. 9 июня 1801 года в чине подполковника его зачислили в 8-й артиллерийский полк. Алексей Петрович получил в командование роту конной артиллерии, располагавшуюся в Вильно. Там у него произошёл конфликт с А. А. Аракчеевым, бывшим в это время инспектором всей артиллерии. Как-то осмотрев роту Ермолова после трудного 30-вёрстного перехода и не найдя, к чему бы придраться, Аракчеев отметил, что лошади утомлены, а ведь в артиллерии репутация офицеров зависит от их содержания. «Очень жаль, — ответил Алексей Петрович, — что в русской артиллерии репутация офицеров слишком часто зависит от скотов».

Эта фраза в бесчисленных вариантах разнеслась по всей России и сильно осложнила Ермолову жизнь. Одному из своих друзей Алексей Петрович писал: «Мне остаётся или выйти в отставку, или ожидать войны, чтобы с конца своей шпаги добыть себе всё мною потерянное».

Из общей массы офицеров среднего уровня Ермолов выделился только в тридцать лет, проявив все свои достоинства в войнах 1805–1807 годов. Его незаурядные способности военного руководителя заметил П. И. Багратион. «Произведён я был в полковники, — вспоминал Ермолов. — Кампания против французов в Пруссии расточила тьму, омрачавшую существование моё: я появился в свете замеченным со стороны усердия и доброй воли к службе. Вечно в памяти моей будут благодеяния князя Багратиона, как первого бросившего несколько цветков на трудный путь, пробегаемый мною на военной службе, без покровительства, не без трудов. Я боролся с сими, и счастье допустило меня собрать некоторые плоды их. Великий князь Константин Павлович удостоил меня милостивого своего внимания, и его отзывами обо мне сделался я известен государю».

И не только государю. В 1807 году Алексей Петрович вернулся в Россию с репутацией одного из лучших артиллеристов русской армии. К 1812 году Ермолов был уже генерал-майором, а в начале Отечественной войны получил должность начальника Главного штаба 1-й Западной армии, которой командовал Барклай де Толли, не ладивший с командующим 2-й Западной армии П. И. Багратионом, и Алексею Петровичу приходилось лавировать между ними. В докладах Барклаю де Толли он передавал резкие и дерзкие отзывы Багратиона в «выражениях самых обязательных», а в письмах Багратиону холодность и грубость Барклая де Толли представлял в «видах приятных». В итоге Багратион писал Ермолову, что он не ожидал найти в Барклае де Толли столько хорошего, как нашёл, а Барклай де Толли говорил, что он «не думал, чтобы с Багратионом можно было так легко служить».