Самый знаменитый физик Соединенных Штатов действительно мало занимался физикой, и это притом, что он убедил попечителей назначить его на уникальную двойную должность — директора института и «профессора физики». Осенью 1946 года Оппи нашел время, чтобы в соавторстве с Хансом Бете опубликовать в «Физикл ревью» статью о рассеянии электронов. В том же году его выдвинули на Нобелевскую премию, однако Нобелевский комитет не решился вручить премию человеку, чье имя напрямую ассоциировалось с бомбардировками Хиросимы и Нагасаки. За последующие четыре года Оппенгеймер опубликовал еще три короткие научные работы и одну работу по биофизике. После 1950 года у него больше не было публикаций. «Ему не хватало Sitzfleisch, — говорил Марри Гелл-Ман, физик, работавший в институте по приглашению в 1951 году, — усидчивости. Так немцы называют мозоль от долгого сидения на стуле. Насколько мне известно, он не написал ни одной длинной работы, не произвел ни одного длинного расчета, ничего в этом духе. Ему не хватает терпения. Его собственные труды состоят из aperçus — коротких, хотя и блестящих рефератов. Зато он вдохновлял на свершения других, оказывая на них фантастическое влияние».
В Лос-Аламосе Оппенгеймер руководил тысячами подчиненных и тратил доллары миллионами. Теперь же возглавлял учреждение с сотней сотрудников и бюджетом 825 000 долларов. Лос-Аламос полностью находился на иждивении федерального правительства. Попечители института, напротив, запрещали директору изыскивать федеральные фонды. Институт славился своей исключительной независимостью. Он не поддерживал официальных отношений с соседним Принстонским университетом. К 1948 году к двум «факультетам» — математики и истории — были прикреплены около 180 ученых. Институт не имел лабораторий, циклотронов и каких-либо приборов сложнее классной доски. Здесь не читали лекций и не учили студентов, в институте работали лишь состоявшиеся научные сотрудники — в основном математики, немного физиков, а также горстка экономистов и гуманитариев. В институте существовал настолько сильный перекос в сторону математики, что назначение Оппенгеймера многие восприняли как признак того, что отныне институт будет заниматься только математикой/физикой и ничем иным.
И действительно, первые назначения Оппенгеймера вроде бы указывали на трансформацию института в крупный центр теоретической физики. В качестве временных сотрудников он привез с собой из Беркли пятерых исследователей. Уговорив Пайса остаться, Оппенгеймер привлек на постоянную работу еще одного подающего надежды молодого английского физика — Фримена Дайсона. Кроме того, Роберт убедил проводить в институте летние месяцы и творческие отпуска Нильса Бора, Поля Дирака, Вольфганга Паули, Хидэки Юкаву, Джорджа Уленбека, Георга Плачека, Синъитиро Томонагу и многих других молодых физиков. В 1949 году привлек Янг Чжэньнина, блестящего двадцатисемилетнего физика, который в 1957 году получит Нобелевскую премию по физике вместе с другим ученым китайского происхождения Ли Чжэндао, принятым Оппенгеймером в институт. «Это — невероятное место, — писал в своем дневнике Пайс в 1948 году. — Ко мне в кабинет заходит поболтать Бор. Из окна я вижу идущего домой с ассистентом Эйнштейна. В двух дверях от меня сидит Дирак. На нижнем этаже — Оппенгеймер…» Такой концентрации научных дарований не существовало нигде в мире. Кроме, конечно, Лос-Аламоса.