«Герасимов получил такие права и приобрел такое влияние, которого ни раньше, ни позднее не имел ни один из начальников охранного отделения в Петербурге, – отмечал Б. И. Николаевский, основываясь в том числе и на рассказах самого Герасимова (с ним он много общался в Берлине, работая над книгой об Азефе, опубликованной в 1931 г.). – Департамент полиции был оттеснен на второй план. Ни о каком контроле с его стороны над Герасимовым не могло быть и речи. Герасимов делал все, что хотел, и диктовал свою волю департаменту. Вся центральная агентура, то есть все секретные сотрудники, которых полиция имела в центральных организациях революционных партий, перешла в его руки… Охранное отделение в Петербурге на время стало фактическим центром всего политического розыска в империи, и Столыпин был единственным, кому был на деле подчинен начальник этого отделения: Герасимов регулярно делал ему устные доклады обо всем, что представляло мало-мальски значительный интерес в области политического розыска… Особенно подробно Герасимов должен был сообщать обо всем, что охранному отделению становилось известным из области внутренней жизни центральных организаций революционных партий: жизнью этих последних Столыпин весьма интересовался и за нею внимательно следил. С подобной же полнотою его приходилось информировать относительно внутренней жизни левых фракций Государственной думы» (Николаевский Б. И. История одного предателя: Террористы и политическая полиция. М., 1991. С. 164–168).

Свидетельства высокой оценки деятельности Герасимова – получение в 1905 г. «вне правил» чина полковника, а в 1907 г. – чина генерал-майора; среди наград – ордена Святого Владимира 3-й степени и Святого Станислава 1-й степени. Однако карьера Герасимова как руководителя политического сыска, находившегося на пике влияния и служебной славы, оборвалась весной 1909 г. Получив согласие Столыпина, Герасимов удалился в четырехмесячный отпуск – ссылаясь на то, что за четыре года руководства Петербургским охранным отделением ни разу не был в отпуске и подорвал здоровье. Впрочем, уход в отпуск последовал вскоре после разоблачения провокаторской деятельности Азефа в партии эсеров, что сопровождалось и резонансным обсуждением в Думе. Столыпину пришлось взять под свою защиту Азефа как ценного секретного сотрудника и, отвергая использование приемов провокации, отстаивать право правительства задействовать агентуру в революционных организациях в интересах государственной безопасности. В то же время проводились служебные расследования в отношении Герасимова, касающиеся взаимоотношений охранки и Азефа. Расследовались также загадочные обстоятельства убийства агентом-провокатором полковника С. Г. Карпова – преемника Герасимова на посту начальника Петербургского охранного отделения. Если бы не личное покровительство Столыпина, то результатом проверок, а также интриг со стороны влиятельных придворных кругов, могло стать предание Герасимова военному суду. В итоге, возвратившись из отпуска, Герасимов не получил обещанного Столыпиным места товарища министра внутренних дел (он был вынужден согласиться с назначением на эту должность П. Г. Курлова). С осени 1909 г. Герасимов – генерал для особых поручений при министре внутренних дел. Первоначально получал отдельные задания и направлялся в командировки для инспектирования охранных отделений. В частности, Герасимовым была отмечена слабая работа Киевского охранного отделения под руководством подполковника Н. Н. Кулябко (в том числе «ненормальная» постановка дела при работе с секретной агентурой). Но затем в течение почти двух лет, вплоть до убийства Столыпина, по распоряжению Курлова он был практически отстранен «от каких бы то ни было служебных обязанностей». Подав рапорт об увольнении, в январе 1914 г. Герасимов получил чин генерал-лейтенанта и ушел в отставку с мундиром и пенсией.