Началась война, и опытного диверсанта выпустили из тюрьмы. Его забрал в свою группу Судоплатов, и Серебрянский снова занялся знакомым делом — на этот раз в германском тылу. Действовали его отряды весьма успешно, он был неоднократно награжден, но после войны немедленно уволен в отставку. Однако после смерти Сталина Серебрянского восстановили на службе, но после казни Берии опять арестовали и осудили на 10 лет. Через три года Яков Серебрянский умер в тюрьме.

В 30-х годах закордонной разведкой НКВД руководил Абрам Аронович Слуцкий. Он родился в 1898 году, участвовал в Гражданской войне и с 1920 года служил в органах ВЧК-ОГПУ. С 1930 года — в ИНО НКВД, нелегальный резидент в Берлине. С 1934 года Абрам Слуцкий возглавлял ИНО. Это было время самых страшных репрессий против агентов и руководителей отдела. И в феврале 1938 года Абрам Слуцкий был отравлен прямо в кабинете Ежова и скончался на месте.

Его заместителями были два еврея, опытные нелегалы. Сначала — старший майор госбезопасности (комбриг) Моисей Савельевич Горб, которого арестовали и расстреляли в 1937 году. Затем — Сергей Миронович Шпигельглас, который с 1922 года шпионил во Франции, истреблял белоэмигрантов в Европе, действовал в республиканской Испании. В 1937–1938 годах Шпигельглас был заместителем Слуцкого, а после его гибели — стал начальником ИНО. Однако в 1939 году и он был арестован и расстрелян.

К этому времени практически большинство представителей зарубежной агентуры НКВД были вызваны в Москву и погибло в подвалах Лубянки. Среди немногих, кто сумел возвратиться в свои резидентуры, был Борис Николаевич Рыбкин. Его настоящее имя — Борух Аронович Рывкин. Это был опытнейший разведчик, действовавший в Иране, в Финляндии, где имел дипломатическое прикрытие, вместе со своей женой Зоей Рыбкиной, впоследствии известной писательницей Воскресенской. Во время Второй мировой войны эти супруги работали под «крышей» советского посольства в Швеции. После войны Рыбкин стал резидентом в Чехословакии, где и погиб при весьма странных обстоятельствах в 1947 году.

Планомерное истребление закордонной агентуры и руководства ИНО сталинскими палачами перед Великой Отечественной войной привело к тому, что в ходе ее разведслужба НКВД практически не располагала сколько-нибудь эффективными организациями или группами в самой Германии и оккупированных ею странах.

Гораздо более успешно действовали диверсионные отряды, сформированные 2-м отделом НКВД, начальником которого был генерал Павел Судоплатов. Одним из сотрудников его отдела был полковник Исидор Маклярский, руководитель операции «Березино», в ходе которой он провел масштабную радиоигру с германским командованием в 1944–1945 годах. Ее считают наиболее эффективной за всю войну. Она позволила перехватить множество германских агентов и военных грузов, сброшенных для фиктивной «группировки Шерхорна». Впрочем, за столь успешную операцию полковник Маклярский наград не получил. Более того, в 1951 году был арестован и из тюрьмы вышел лишь после смерти Сталина.