Стычки с военными бонзами по вопросам планирования производства ядерного оружия оставили неприятный осадок у всех членов консультативного комитета КАЭ. «Я знаю, — вспоминал Ли Дюбридж, — как часто обсуждались цели на территории Советского Союза и количество бомб, которое понадобится для уничтожения крупных промышленных центров. <…> В то время мы считали, что пятидесяти бомб хватит, чтобы стереть с лица земли все важные объекты СССР». Дюбридж всегда считал эту оценку довольно точной. Однако со временем представители Пентагона находили для увеличения количества бомб все новые поводы. Дюбридж вспоминал: «У нас иногда вызывало улыбку, что они, похоже, были не в состоянии найти достаточно целей для того количества бомб, которое собирались выпустить через год или два. Военные подгоняли число целей под планы производства».

Выступления Оппенгеймера на заседаниях комитета, как правило, отличались безупречной объективностью. Он редко выказывал эмоции. Исключение составляет один случай, когда вице-адмирал Хайман Риковер ознакомил комитет с планами ВМС по ускоренной разработке атомных подводных лодок. Риковер пожаловался, что КАЭ затягивает работу над ядерным реактором. Он бросил вызов Оппенгеймеру, спросив, откладывал ли тот создание атомной бомбы до момента, когда прояснятся все факты. Роберт наградил адмирала своим фирменным ледяным взглядом и ответил «да». Хотя Риковер вел себя крайне вызывающе, Оппенгеймер удержал себя в руках. И только после его ухода подошел к столу, на котором адмирал оставил маленькую деревянную модель подводной лодки, спокойно раздавил ее в кулаке и вышел вон.

Круг политических врагов Оппенгеймера постоянно ширился. Его старый друг Гарольд Чернис еще за много лет до этого говорил, что Оппи иногда отпускал «очень жестокие» замечания. Роберт вел себя мягко и тактично с подчиненными, однако с коллегами нередко бывал очень резок.

Наиболее опасным политическим противником Оппенгеймера оставался Льюис Стросс. Он не забыл, как Оппенгеймер поднял на смех его рекомендации на слушании конгресса летом предыдущего года. «Для меня наступили несчастливые дни», — написал Стросс другу в июле 1949 года. Встретив сопротивление в КАЭ по многим вопросам, Стросс вынужденно перешел в оборону. В частной беседе он пожаловался на Оппенгеймера и его друзей: «В их глазах я виноват в lèse majesté[27], потому что осмелился не согласиться с коллегами». Стросс подозревал, что близкие друзья Оппенгеймера Герберт Маркс и Энн Уилсон Маркс распространяют лживые истории о его «изоляционизме». Как-то раз друг Стросса заметил, что люди считают «какие-либо возражения доктору Оппенгеймеру по научным вопросам наглостью». Стросс внес в свою заветную папку, посвященную теме «всезнайства», записку, в которой отметил, что Оппенгеймер однажды предложил «денатурировать» уран, что, как потом выяснилось, было неосуществимо на практике.