В 1851 г. назначен адъютантом 1-й бригады 15-й пехотной дивизии, а 17 января 1852 г. переведен на должность адъютанта к командующему отдельным Сибирским корпусом генералу Гасфорту.

В 1854 г. получил должность старшего адъютанта штаба отдельного Сибирского корпуса и произведен в капитаны. 23 января 1855 г. за отличия по службе произведен в майоры, с назначением исправляющим должность Березовского военного-окружного начальника, с зачислением по армейской пехоте.

В 1858 г. назначен исправляющим должность начальника Алатавского округа и киргизов Большой орды; в 1860 г. произведен в подполковники. Осенью того же года был в экспедиции за рекой Чу под начальством полковника Циммермана для наказания кокандцев за вторжение в пределы России. Здесь он участвовал во взятии кокандских укреплений Токмака и Пишпека, а затем, командуя отрядом, разбил 21 октября двадцатитысячное войско кокандцев, перешедших вторично нашу границу и превосходивших численностью более чем в 20 раз, отряд подполковника Колпаковского. За это дело он был произведен в полковники и награжден орденом Св. Георгия IV степени.

В 1862 г. снова командовал отрядом, производившим рекогносцировку местности за рекой Чу; занял укрепление Кастек и после десятидневной осады взял и разрушил укрепление Пишпек. За отличия в этих делах произведен в генерал-майоры. В 1864 г. ему поручено было по высочайшему повелению начальство над войсками, расположенными в Семипалатинской области, а через несколько месяцев состоялось назначение на должность генерал-губернатора и командующего войсками Семипалатинской области.

С образованием в 1867 г. Семиреченской области Колпаковский получил новое назначение: военным губернатором и командующим войсками Семиреченской области, которой управлял почти 15 лет. В продолжение этого времени он обратил особенное внимание на устройство и образование Семиреченского казачьего войска, а также на развитие русской колонизации в Семиречье. В короткое время большей частью гористая и степная область покрылась оседлыми русскими поселениями, которые принесли с собой начала русской гражданственности и культуры, способствуя тем слиянию края с империей.

В 1871 г. Герасим Алексеевич произведен в генерал-лейтенанты и за энергичные распоряжения и действия, способствовавшие блестящему успеху экспедиции и быстрому покорению Кульджинского ханства, награжден орденом Св. Георгия III степени.

Во время отсутствия туркестанского генерал-губернатора и командующего войсками, генерал-адъютанта фон Кауфмана, неоднократно исполнял его обязанности, а во время Хивинской экспедиции 1873 г. исправлял должность начальника военнонародного управления. В 1876 г. командовал экспедиционным отрядом, занявшим Кокандское ханство, до присоединения его к империи под названием Ферганской области.