В 1934 году Западноевропейский секретариат Коминтерна направил Григулевича в командировку в Аргентину. В 1936 году он участвовал в Гражданской войне в Испании, и именно там был привлечен к сотрудничеству советскими спецслужбами. Москву он впервые посетил в 1937 году, а приехал он туда для обучения в спецшколе Коминтерна.
В 1938 году Григулевича командировали в Соединенные Штаты, но — с прицелом на Мексику, так как предполагалось его участие в операции «Утка» по устранению Л. Д. Троцкого. В конце 1939 года Григулевич (агент Фелиппе) привез в Москву план дома Троцкого. Ему было поручено организовать круглосуточную слежку за домом «объекта». Считается, что именно Григулевич негласно руководил группой Давида Сикейроса, целью которой было не убийство, как многие считают, а в первую очередь устрашение Троцкого и похищение документов, которые могли бы скомпрометировать оппозиционного Советской власти деятеля. Акция была шумной, с беспорядочной стрельбой, архив выкрасть не удалось, Сикейрос спустя пять месяцев был арестован и еще через полгода выслан из Мексики в Чили, а Иосиф Григулевич в 1941 году награжден орденом Красной Звезды.
Ранее предполагалось, что по завершении операции Григулевич переберется в Аргентину, где начнет создавать разветвленную нелегальную сеть, оплетающую всю Южную Америку. В принципе, так и вышло. Он обосновался в Аргентине, работал в Уругвае и Чили, а с 1945 года — в Бразилии, куда приехал под видом гражданина Коста-Рики.
В 1947 году после разрыва советско-бразильских отношений Григулевич вернулся в Москву, где получил советское гражданство (сказать, каким именно у него было гражданство ранее, затруднительно — он был гражданином многих стран) и вступил в ряды ВКП(б).
В 1949 году Григулевича отправили в Италию, где он успешно легализовался как гражданин Коста-Рики. Гражданина непростого — в 1952–1953 годах «господин Теодоро Б. Кастро» исполнял обязанности посла Коста-Рики в Италии, а по совместительству — в Ватикане и Югославии. К тому же господин Кастро был избран дуайеном (главой дипломатического корпуса) среди послов латиноамериканских стран, что, безусловно, свидетельствовало об особом уважении к его личности. Вообще, Григулевич великолепно умел налаживать контакты практически в любом обществе. Даже в Конгрегации Святого отдела — секретной полицейской службе Ватикана — он считался своим: шеф Конгрегации кардинал Боргончини Дука был с послом в дружеских отношениях.
В 1952–1953 годах Теодоро Б. Кастро, он же Иосиф Григулевич, он же Юозас Григулявичус (это его литовское имя), более десяти раз удостаивался аудиенции у папы Пия XII. Также он заинтересовал папского нунция принца Джулио Пачелли, одновременно племянника понтифика. Пользуясь алчностью молодого Пачелли, который, на минуточку, был членом правления «Банка ди Рома», Григулевич организовал совместный бизнес — поставки в Ватикан отличного кофе. В послевоенной Европе качественный кофе представлял не меньшую ценность, чем в период Великих географических открытий. Первые партии для Ватикана были проданы по очень низкой цене, что давало возможность Пачелли перепродавать зерна с высокой доходностью.