Организационная структура войск НКВД выглядела следующим образом. Все виды войск возглавлялись главными управлениями, которые являлись составной частью НКВД СССР. Начальники войск непосредственно подчинялись народному комиссару Берия и его заместителю по войскам генерал-лейтенанту Масленникову. Каждое главное управление в своем подчинении имело соединения, отдельные части и подразделения. Пограничные войска подразделялись на округа, отряды, заставы.

Началом создания пограничных войск является декрет Совнаркома от 28 мая 1918 года об учреждении пограничной охраны РСФСР. В начале 1921 года создаются войска ВЧК, на которые возлагалась охрана Государственной границы совместно с войсковыми частями Красной Армии, а через полтора года был сформирован отдельный пограничный корпус войск ГПУ, в ведение которого передавалась охрана границ Российской Федерации.

Войска оперативного назначения были созданы в 1939 году в связи с резким обострением обстановки в западных приграничных районах. Первоначально они входили в состав пограничных войск. Их основной задачей являлась борьба с бандформированиями, диверсионными группами.

Войска по охране железнодорожных сооружений и особо важных предприятий промышленности свою историю непосредственно связывают с Октябрьской революцией 1917 года в России. В обстановке возникшего тогда на территории страны хаоса и неразберихи, грабежей большевики вынуждены были принимать меры для спасения еще не разворованных ценностей. Новое правительство России уже к концу ноября 1917 года стало налаживать охрану фабрик, заводов, предприятий транспорта и связи, складов, ставших государственным достоянием. В этой связи такие ведомства, как Наркомпрод, Г лавсаха, Г лавнефть, Центртекстиль, создавали вооруженные отряды для охраны своих объектов.

В последующие годы охрана важных народнохозяйственных производств, коммуникаций, сооружений непрерывно совершенствовалась, менялась ее организация. Постановлением СНК СССР от 4 декабря 1931 года стрелковая охрана НКПС и военизированная охрана промышленных объектов ВСНХ были переданы в ведение ОГПУ и переформированы в воинские части внутренней охраны. С февраля 1939 года Главное управление внутренней и пограничной охраны было разделено на четыре самостоятельных управления войск НКВД: пограничных, по охране особо важных предприятий промышленности, охране железнодорожных сооружений и конвойных с непосредственным подчинением заместителю наркома внутренних дел по войскам.

Войска по охране железнодорожных сооружений в составе семи дивизий и пяти бригад к концу 1940 года под своей опекой имели более полутора тысяч различных объектов: железнодорожных мостов, тоннелей, эстакад, водокачек, электростанций.