Оппенгеймер давно решил уйти с поста директора по науке. К концу августа он получил приглашения на работу в Гарвард, Принстон и Колумбийский университет, но внутренний голос призывал его вернуться в Калифорнию. «У меня есть чувство принадлежности к этому месту, и от него я, видно, уже никогда не избавлюсь», — писал он своему другу Джеймсу Конанту, ректору Гарвардского университета. Старые друзья по Калтеху, Дик Толмен и Чарли Лауритсен, уговаривали его вернуться на полную ставку в Пасадену. Поразительно, но формальное предложение места в Калтехе задержали ввиду возражений ректора университета Роберта Милликена. Оппенгеймер, написал он Толмену, плохой преподаватель, его прежние достижения в теоретической физике, вероятно, уже в прошлом; кроме того, на факультете в Калтехе, пожалуй, и без него хватает евреев. Однако Толмен и другие уговорили Милликена передумать, и предложение места было передано Оппенгеймеру 31 августа.

К этому времени Оппенгеймера пригласили вернуться в Беркли, где он действительно чувствовал себя как дома. Он все еще медлил. Оппи сказал Лоуренсу, что «не ладит» с ректором Робертом Г. Спраулом и проректором Монро Дойчем. Вдобавок ко всему отношения Роберта с заведующим кафедры физики Раймондом Бирджем были до того натянуты, что Оппи признался Лоуренсу в желании, чтобы Бирджа заменили кем-то другим. Лоуренс, недовольный проявлением заносчивости и высокомерия, осадил Оппи, предложив в таком случае самому не возвращаться в Беркли.

Оппенгеймер отправил Лоуренсу письмо с разъяснениями: «Я испытываю смешанные, грустные чувства по поводу нашей беседы о Беркли». Оппи напомнил старому другу, что всегда был бо́льшим «аутсайдером», чем он. «И эта часть моего характера не изменится, потому что я ее не стыжусь». Он еще не решил, как поступить, однако «очень сильная и очень негативная реакция» Лоуренса его насторожила.

В то время как фирменная марка «Оппенгеймер» приобретала мировую известность, человек, назвавший себя «аутсайдером», погружался в депрессию. Когда пара вернулась в Лос-Аламос, Китти рассказала подруге Джин Бэчер: «Ты не представляешь, какой это был для меня ужас. Роберт совершенно потерян». Бэчер эмоциональное состояние Китти напугало. «Ее пугала ужасная реакция [Роберта]».

Чудовищность происшедшего в Хиросиме и Нагасаки сильно отразилась на Роберте. «Китти редко делилась своими переживаниями, — вспоминал Бэчер, — а тут сказала, что не знает, как это выдержит». Роберт делился душевными терзаниями и с другими. Одноклассница Оппи по Школе этической культуры Джейн Дидишейм вскоре после окончания войны получила от него письмо, концовка которого, по ее словам, «очень ясно и очень удручающе показывала, насколько он разочарован и огорчен».