Структура Главка была такова:

1-й отдел — агентурно-оперативная работа по центральным органам РККА — управлениям Наркомата обороны.

2-й отдел — работа среди военнопленных, представляющих интерес для органов «Смерш», проверка военнослужащих Красной армии, бывших в плену и окружении противника;

3-й отдел — борьба с агентурой противника, забрасываемой в наш тыл;

4-й отдел — контрразведывательная работа на стороне противника в целях выявления каналов проникновения агентуры противника в части и учреждения Красной армии;

5-й отдел — руководство работой органов «Смерш» военных округов;

6-й отдел — следственный;

7-й отдел — оперативный учет, статистика;

8-й отдел — оперативно-технический;

9-й отдел — обыски, аресты, установки, наружное наблюдение;

10-й отдел «С» — работа по особым заданиям;

11-й отдел — шифросвязь.

Всего же вместе с секретариатом, АХО и кадрами в составе ГУКР «Смерш» НКО функционировало 14 отделов. Утвержденный штат составил 646 человек.

На местах были организованы управления контрразведки «Смерш» фронтов, а также — отделы контрразведки армий, округов, корпусов, дивизий, бригад, запасных полков, гарнизонов, укрепрайонов, учреждений РККА. Структура этих органов устанавливалась применительно к структуре ГУКР «Смерш» и утверждалась наркомом. Для обеспечения оперативной работы органам «Смерш» на местах придавались подразделения Красной армии: фронтовому управлению — батальон; отделу армии — рота; отделу корпуса, дивизии, бригады — взвод.

Штат УКР «Смерш» фронта, в составе которого было свыше пяти армий, определялся в количестве 130 человек, менее пяти — 112, ОКР «Смерш» армии — 57 человек, военного округа — от 102 до 193.

Тридцать первого мая ГКО утвердил Положение об Управлении контрразведки «Смерш» Наркомата Военно-морского флота и его органах на местах, а в июне нарком Кузнецов утвердил штаты УКР «Смерш» ВМФ, флотов и флотилий; в том же месяце Берия рассмотрел и утвердил структуру ОКР «Смерш» в своей структуре.

Сотрудникам «Смерш» присваивались воинские, а не специальные, звания; их форма, погоны и другие знаки различия, за исключением высшего руководящего состава, устанавливались как в соответствующих родах войск.

Отметим стабильность кадров в руководящих звеньях органов «Смерш» — все руководители УКР фронтов находились на своих должностях с момента назначения и до окончания войны; стабильным был и состав армейского звена — новые руководители, как правило, назначались только после гибели в бою их предшественников.