Временами, устав от территориальных стычек, Оппенгеймер изливал досаду на тех, кто его поддерживал. Когда Оппи застал Фримена Дайсона за распространением сплетен о назначении другого физика, Роберт немедленно вызвал коллегу в свой кабинет. «Он буквально прошелся по мне катком, — вспоминал Дайсон. — Я его таким гневным никогда не видел. Кошмар. Я почувствовал себя червяком. Он убедил меня, что я обманул его доверие. <…> Таков был его подход. Он все делал по-своему. Институт был его маленькой личной империей».

Жесткость в характере Оппенгеймера, которая редко давала о себе знать в Лос-Аламосе, иногда проявлялась в Принстоне с такой силой, что пугала даже близких друзей. Как правило, Роберт очаровывал людей остроумием и элегантными манерами. Но временами был неспособен сдержать язвительное высокомерие. Абрахам Пайс запомнил несколько случаев, когда излишне резкие замечания Оппенгеймера доводили молодых ученых до слез.

Редкому преподавателю удавалось устоять перед вмешательством Оппенгеймера, однако у Реса Йоста это получалось. Йост, швейцарский физик и математик, как-то раз проводил семинар. Оппенгеймер перебил его, попросив подробнее объяснить один из тезисов. Йост посмотрел на него, сказал «да» и продолжил выступление. Оппенгеймер опять остановил его и спросил: «Я имел в виду, не объясните ли вы то-то и то-то?» На этот раз Йост ответил «нет». На вопрос Оппенгеймера почему, Йост заявил: «Потому что вы не поймете моего объяснения, начнете задавать новые вопросы и отберете у меня целый час». Остаток лекции Роберт просидел молча.

Одновременно неугомонный, гениальный и эмоционально отстраненный Оппенгеймер оставался загадкой для тех, кто наблюдал его вблизи. Пайс, видевший директора института практически ежедневно, считал его невероятно замкнутым человеком, «не склонным показывать свои чувства». Глубина эмоций Оппенгеймера лишь изредка прорывалась наружу. Однажды Пайс пошел в кинотеатр посмотреть «Великую иллюзию» Жана Ренуара, классический антивоенный фильм 1937 года о товариществе, классовых различиях и предательстве среди солдат Первой мировой войны. Когда зажегся свет, Пайс заметил на заднем ряду Роберта и Китти. Роберт плакал.

Еще один раз, в 1949 году, Пайс пригласил Роберта и Китти на вечеринку в свою маленькую квартиру на Дикинсон-стрит. По ходу дела Пайс зажегся, достал гитару и призвал всех сесть на пол и петь народные песни. Роберт подчинился, но «с надменным видом, явно дающим понять, что считает ситуацию абсурдной». Однако, когда гости спели несколько песен, Пайс взглянул на Роберта еще раз и был «тронут, заметив, что его высокомерие исчезло; вместо этого он выглядел как сентиментальный человек, изголодавшийся по простым товарищеским отношениям».