Слежка раздражала Оппи. Однажды в Беркли, разговаривая с бывшим учеником Джо Вайнбергом, он вдруг указал на латунную пластину на стене и спросил: «А это что, черт возьми?» Вайнберг попытался объяснить, что университет снял старый домофон и заделал дыру в стене пластиной. Однако Оппи перебил его: «Это скрытый микрофон, и он там был всегда». После чего выскочил из кабинета, хлопнув дверью.
Надо признать, что Оппенгеймер был не единственной мишенью Гувера. Весной 1946 года ФБР вело расследование действий десятков высокопоставленных чиновников в администрации Трумэна и распространяло бредовые подозрения. Основываясь на показаниях так называемых «надежных информаторов», Бюро ставило под сомнение благонадежность многих госслужащих, связанных с выработкой политики в области атомной энергии, в том числе Джона Дж. Макклоя, Герберта Маркса, Эдварда У. Кондона и Дина Ачесона.
Расследования, которые Гувер вел против Оппенгеймера и членов администрации Трумэна в 1946 году, послужили прелюдией к политике антикоммунизма. Для устранения политических оппонентов или затыкания ртов стало использоваться предъявление им обвинений как «коммунистам», «симпатизирующим коммунизму» и «коммунистическим попутчикам». По сути, эта тактика была не нова — на государственном уровне такие обвинения били наповал уже в конце в 1930-х годов. Однако растущая трещина в отношениях между США и СССР позволяла легче доказывать необходимость защиты «атомных секретов», а эта необходимость, в свою очередь, оправдывала плотную слежку за всеми, кто был связан с ядерными исследованиями. Гувер подозревал любого, кто отклонялся от самых консервативных взглядов по ядерным вопросам, и ни один человек, работавший в области атомной энергии, не вызывал у него больше подозрений, чем Оппенгеймер.
Однажды под вечер в студеную рождественскую неделю 1945 года Роберт приехал к Исидору Раби в его нью-йоркскую квартиру на Риверсайд-драйв. Друзья наблюдали из окна гостиной закат и плывущие по Гудзону желтые и розовые от лучей заходящего солнца льдины. После этого сидели в сгущающейся темноте, курили трубки и обсуждали угрозу атомной гонки вооружений. Раби потом утверждал, что это он «родил» идею международного контроля, а Оппи ее «продавал». Разумеется, Оппенгеймер обдумывал этот вопрос со времени своих бесед с Бором в Лос-Аламосе. Хотя допустимо, что эта вечерняя беседа побудила Оппи уточнить идею и выработать конкретный план. «Мне пришло в голову, — вспоминал Раби, — что здесь есть два момента: она [бомба] должна находиться под международным контролем, потому что, если она будет находиться под национальным контролем, начнется соперничество; [во-вторых] мы поверили в ядерную энергию, от которой зависело продолжение индустриальной эпохи». Поэтому Раби и Оппенгеймер предлагали создать международный орган с настоящими полномочиями, который контролировал бы и атомную бомбу, и мирное применение атомной энергии. Наказанием для потенциальных нарушителей в случае, если они тайком завладевали ядерным оружием, могло быть принудительное закрытие электростанций.