Восьмого августа 1920 года Малое бюро Коминтерна приняло решение создать вместо Особой комиссии по связи ИККИ Секретный отдел; организацию отдела поручили Д.С. Бейко.

Главной задачей Секретного отдела являлось обеспечение конспиративных связей между штаб-квартирой Коминтерна и иностранными компартиями. Отдел осуществлял: переправку секретной корреспонденции (документов, директив и т. п.); нелегальную доставку денег и ценностей; конспиративную переброску партийных функционеров и оружия из страны в страну и другие нелегальные функции.

В большинство европейских стран, а также в Китай (Шанхай), Мексику и Ташкент (для работы в странах Востока) были направлены нелегальные представители ИККИ. Решением Малого бюро от 11 ноября отдел получил название Конспиративный.

В начале января 1921 года была создана секретная лаборатория по изготовлению фальшивых иностранных паспортов, виз и других оперативных документов, находившаяся в подчинении Конспиративного отдела.

Поражение в Польско-советской войне 1919–1921 годов и проведенный анализ событий заставили руководство РКП(б) принять специальное постановление о работе разведки. В нем говорилось: «Слабейшим местом нашего военного аппарата является, безусловно, постановка агентурной работы, что особенно ясно обнаружилось во время польской кампании. Мы шли на Варшаву вслепую и потерпели катастрофу. Учитывая ту сложившуюся международную обстановку, в которой мы находимся, необходимо поставить вопрос о нашей разведке на надлежащую высоту. Только серьезная, правильно поставленная разведка спасет нас от случайных ходов».

В марте 1921 года В. И. Ленин поручил Осипу (Иосифу) Ароновичу Пятницкому (Таршису) наладить работу большого аппарата Исполкома Коминтерна. Необходимо было установить контакты с зарубежными коммунистическими партиями и марксистскими организациями, а также решить целый ряд связанных с ними финансовых, кадровых и множества секретных вопросов. Для решения этих задач создается Отдел международных связей (ОМС), а официально утверждает эту структуру в июле 1921 года III конгресс Коминтерна. С созданием ОМС Конспиративный отдел слился с ним.

Про Пятницкого можно сказать, что он уже в шестнадцать лет увлекся революционным движением, а его первые задания были связаны с перевозкой нелегальной литературы, издаваемой в Швейцарии. После Октябрьской революции он стал председателем ЦК профсоюза железнодорожников, а в 1920 году возглавил Московский комитет РКП(б). Работа Коминтерна и его зарубежного аппарата была крайне эффективной. Пятницкого знали все лидеры международного коммунистического движения, но большая часть его политической деятельности покрыта завесой непроницаемой тайны, и даже сегодня об этой стороне его деятельности известно крайне мало.