С сентября 1919 года Менжинский — особоуполномоченный Особого отдела и член Президиума ВЧК. В феврале — июле 1920 года — заместитель председателя ОО ВЧК; с июля 1920-го по июль 1922 года — начальник Особого отдела и член Коллегии ВЧК. С января 1921 года — начальник Секретно-оперативного управления ВЧК, с февраля 1922 года — член Коллегии ГПУ. С сентября 1923 года — 1-й заместитель председателя Объединенного государственного политического управления, с 30 июля 1926 года — председатель ОГПУ. Под его руководством были пресечены подрывные действия английской разведки, ликвидированы 89 крупных банд общей численностью 56 тысяч человек. Он сыграл активную роль в операциях по поимке Б. В. Савинкова и британского разведчика С. Рейли. В 1924 году награжден орденом Красного Знамени. В 1927 году избран членом ЦК ВКП(б).
С апреля 1929 года практически отошел от дел по состоянию здоровья.
Похоронен на Красной площади у Кремлевской стены.
Родился в г. Рыбинске Ярославской губернии в семье мастера-гравера; образование среднее.
Ученик аптекаря в Нижнем Новгороде, в 1907 году вошел в нелегальную молодежную группу анархистов-коммунистов; в этот период сблизился с А. М. Горьким и Я. М. Свердловым. В мае 1912 года арестован в Москве, куда выехал с целью приобретения взрывчатки для осуществления «экса» в одном из нижегородских банков; выслан на два года под надзор полиции в Симбирск. Там экстерном сдал экзамен за шесть классов гимназии. Амнистирован в связи с 300-летием Дома Романовых, вернулся в Нижний Новгород в июле 1913 года, а в ноябре того же года выехал в Санкт-Петербург, где работал в статистическом отделе больничной кассы на Путиловском заводе и участвовал в деятельности легальных большевистских организаций. С 1915 года — рядовой, ефрейтор в 20-м стрелковом полку 5-го армейского корпуса; в 1916 году демобилизован по ранению.
С 1917 года — на прежнем месте работы; вел революционную агитацию в частях столичного гарнизона, участвовал в издании газет «Солдатская правда» и «Беднота», состоял в Военной организации РСДРП(б) и большевистской фракции Петросовета. Принимал участие в подготовке вооруженного восстания. В 1918–1919 годах — управляющий делами и заместитель председателя Высшей военной инспекции РККА. Принимал участие в боях на Южном и Юго-Западном фронтах, в обороне Царицына. В октябре 1919 года направлен на работу в ВЧК; с ноября — управляющий делами Особого отдела ВЧК, член Коллегии ВЧК; с сентября 1920 года — управделами ВЧК; в июле — сентябре 1921 года (по совместительству) исправляющий должность начальника Административно-организационного управления ВЧК.