Осенью 1936 года Григулевич был направлен в Испанию; там он служит адъютантом по международным поручениям, у комиссара 5-го полка В. Видали. Затем становится адъютантом генерала В. Рохаса в штабе Мадридского фронта. Вскоре по ходатайству посла Розенберга Григулевич поступает на службу в советское посольство. Именно там он попадает в поле зрения резидента НКВД Орлова (Фельдбина) и его заместителя Котова (Эйтингона) и не колеблясь становится агентом советской разведки. Ряд косвенных признаков позволяет утверждать, что одновременно Григулевич стал секретным сотрудником группы Серебрянского.

В Испании под руководством Орлова Григулевич участвовал в подавлении Барселонского мятежа и ликвидации ряда активистов Рабочей партии марксистского единства (ПОУМ), в том числе Андреса Нина, каталонского коммуниста, который был обвинен в связях с франкистами. Все это было сфабриковано, поскольку ПОУМ считалась троцкистской партией. Нин категорически отказался признать свою несуществующую вину, и в результате НКВД принял решение о его ликвидации.

В конце 1937 года Иосиф Григулевич был отозван в Москву, где прошел дополнительный курс специальной подготовки под руководством Сергея Шпигельглаза. В это время уже работало несколько спецшкол Серебрянского, поэтому нельзя исключить, что Серебрянский также был одним из кураторов подготовки молодого разведчика.

В апреле 1938 года Фелипе (новый псевдоним Григулевича) вместе с Э. Санчесом (Марио) был направлен в Мексику с целью ликвидации Л. Троцкого. Двадцать четвертого мая 1940 года принял участие в нападении на виллу Троцкого (первое покушение под руководством Давида Сикейроса).

В июле 1940 года Григулевич был назначен нелегальным резидентом в Южной Америке. Он выехал из Мексики в США и в декабре появился в Аргентине. Перед ним стояла цель создания агентурной сети в Бразилии, Аргентине, Уругвае и Чили, а также формирования диверсионных групп в Аргентине для действиях на судах Германии. Эта сеть фактически была копией знаменитой «Лиги Волльвебера».

С осени 1940-го до лета 1941 года советские органы госбезопасности вели ожесточенную тайную войну на два фронта. На одном из них противниками были профессионалы высокого класса из разведслужб Германии, Финляндии, Румынии, Болгарии и Японии. Не меньшую опасность представляли и «коллеги» из разведок Великобритании и Франции. (Мало кто знает, что в 1939–1940 годах в этих двух странах вполне серьезно рассматривался вопрос о бомбардировке советских бакинских нефтепромыслов.) На другом фронте борьба велась против буржуазного националистического подполья в Прибалтике, Западной Белоруссии, на Западной Украине и в Бессарабии. Большинство подпольных националистических организаций имели самую тесную связь с разведками гитлеровской Германии и ее союзников.