Особое внимание уделялось контрразведывательному обеспечению войск по охране тыла действующей Красной армии — самым многочисленным в системе войск НКВД. Они находились в непосредственном соприкосновении с частями РККА, активно привлекались военной контрразведкой для заградительных мероприятий, охраняли важные объекты, коммуникации и линии связи, участвовали в боевых операциях против немецких войск. Их использовали для обеспечения порядка и спокойствия в тылу, проведения оперативных мероприятий по ликвидации просочившихся через фронт немецких подразделений и бандгрупп, для выявления и задержания вражеской агентуры на освобождаемых территориях.

Повышенные требования предъявлялись к пограничникам — не только к их боевой выучке, но и к морально-волевым качествам. Пограничная служба была нелегкой даже на рубежах тех сопредельных государств, где не велись военные действия — на границах с Маньчжурией, Турцией, Ираном и Афганистаном происходили многочисленные вооруженные провокации, забрасывались шпионы и диверсанты. Контрразведка НКВД решительно пресекала в погранвойсках любые противоправные действия, тщательно проверяла оперативную информацию о лицах, вынашивавших изменнические или дезертирские намерения, оперативным путем изучала военнослужащих, до призыва проживавших на оккупированной территории, побывавших в плену или в окружении. Чаще всего реализация оперативных материалов проводилась путем информирования командования и перевода неблагонадежных военнослужащих в другие войска НКВД или части армии. В течение 1943 года — первой половины 1944 года по информации отделов «Смерш» из погранвойск было откомандировано свыше 1500 военнослужащих.

Всего же, в соответствии с решениями, принимаемыми контрразведчиками совместно с командованием, только в 1944 году из войск НКВД было откомандировано около десяти тысяч человек, в том числе более 450 офицеров.

В результате оперативно-разыскной деятельности органов контрразведки «Смерш» НКВД за период с мая 1943-го по август 1944 года в войсках НКВД и их окружении были выявлены 293 изменника Родины, 100 подозреваемых в шпионаже, 76 пособников немецких оккупантов, 356 дезертиров и 58 человек, вынашивавших террористические намерения. Кстати, по всем «громким преступлениям», совершенным в войсках и учреждениях НКВД, направлялись доклады наркому. Сотрудникам органов контрразведки было предоставлено право арестовывать подозреваемых в преступной деятельности военнослужащих и связанных с ними лиц — при этом арест рядовых военнослужащих и младших офицеров согласовывался с военными прокурорами, а старшего и начальствующего состава осуществлялся только с санкции самого Л. П. Берии. Его реакция на чрезвычайные происшествия была незамедлительной, и меры, как правило, принимались самые решительные.