Веблен часто устраивал Оппенгеймеру неприятности. Будучи попечителем, он играл в институте роль закулисного агента влияния. Многие математики ожидали, что директором назначат Веблена. Но вместо этого, по выражению одного институтского профессора, «прислали этого выскочку Оппенгеймера». Против назначения Оппенгеймера директором активно выступал фон Нейман. «Гениальность Оппенгеймера несомненна», — писал он Строссу, выражая в то же время сомнение относительно разумности его назначения директором. Фон Нейман и многие другие математики выступали за «отмену поста директора и создание вместо него факультетского комитета с чередованием председателя каждые год или два». А получили полную противоположность — волевого директора с далеко идущими, неоднозначными планами.

Оппи проявлял в руководстве институтом все те же выдержку и энергичность, что характеризовали его стиль руководства в Лос-Аламосе. Несмотря на это, его отношения с математиками складывались, по словам Дайсона, «катастрофически». Математическая школа института считалось первоклассной, и Оппенгеймер всячески старался не вмешиваться в ее дела. Более того, за первый год после его назначения число сотрудников математической школы увеличилось на 60 процентов. Вместо ответной поддержки математики постоянно выступали против назначений в нематематической сфере. Расстроившись и разозлившись, Оппенгеймер однажды назвал тридцативосьмилетнего математика Дина Монтгомери «самым высокомерным, упертым сукиным сыном, какого мне приходилось встречать».

Страсти кипели и приводили к безрассудным вспышкам. «Он [Оппенгеймер] пришел унижать математиков, — заявил великий французский математик Андре Вейль (1906–1998), проработавший в институте несколько десятилетий. — Оппенгеймер постоянно находился в раздражении, находил удовольствие в том, чтобы стравливать людей друг с другом. Я сам это видел. Ему нравилось, когда люди в институте ссорились. Главным образом, его раздражение вызывало то, что он хотел быть Нильсом Бором или Альбертом Эйнштейном, в то же время понимая, что ему до них далеко». Вейль представлял собой типичный пример непомерного эго, с которым Оппенгеймеру пришлось иметь дело в институте. Это была не молодежь, которую он увлекал за собой в Лос-Аламосе личным авторитетом. Вейль вел себя заносчиво, ехидно, придирчиво. Он получал иезуитское удовольствие от устрашения других и бесился от того, что ему не удавалось запугать Оппенгеймера.

Отношения в академической среде нередко бывают мелочно злобными, однако Роберт столкнулся с несколькими парадоксами, характерными только для института. Природа математики такова, что ее адепты неизменно совершают свои лучшие интуитивные открытия в возрасте двадцати-тридцати лет, в то время как историки и обществоведы тратят многие годы на упорную подготовку, прежде чем становятся способны к по-настоящему творческой работе. Поэтому институт умел легко выявить и привлечь блестящих молодых математиков, но историков приглашал только с опытом. И если молодой математик был в состоянии прочитать работу историка и составить о ней собственное мнение, ни один историк не мог сделать то же самое в отношении будущего члена институтской математической школы. В этом заключался самый досадный парадокс: так как по своей природе математики быстро отцветали, а также потому, что они не были заняты преподаванием, с наступлением среднего возраста многие из них посвящали себя другим делам. Если их не отвлекать, они превращали любое назначение в скандал. В противоположность им нематематики были старше и стояли на пороге самого плодотворного периода своей карьеры, а потому не желали ввязываться в академические распри. К неудовольствию математиков, они столкнулись в лице Оппенгеймера с директором, который, хоть и был физиком, твердо решил установить в институтской культуре равновесие между точными и гуманитарными науками. К их негодованию, он приглашал психологов, литературных критиков и даже поэтов.