И все же Оппенгеймерам недоставало жизненной энергии для выполнения родительских обязательств. «Мне кажется, быть ребенком Роберта и Китти Оппенгеймер, — заметил сосед по Принстону Роберт Странски, — величайшее несчастье». «Чисто внешне, — говорила Шерр, — он был очень мил с детьми. Я ни разу не видела, чтобы он вышел из себя». Однако с годами ее отношение радикально изменилось. Шерр заметила, что шестилетний Питер вел себя тихо и стеснительно, и, чтобы расшевелить мальчика, посоветовала Китти показать его детскому психиатру. Однако, поговорив с мужем, Китти сообщила, что тот не хочет подвергать ребенка психотерапии, которую Роберт сам с отвращением перенес в детстве. Это возмутило Шерр, она приняла Роберта за одного из тех отцов, кто «не допускает мысли, что его сын может нуждаться в помощи». Он «разонравился ей как человек». «Чем больше я за ним наблюдала… чем чаще его видела, тем меньше он мне нравился, интуиция подсказывала мне, что он ужасный отец».

Шерр судила Роберта слишком строго. И он, и Китти пытались поддерживать контакт с сыном. Когда Питеру было шесть или семь лет, Китти помогла ему смастерить электрическую игрушку — квадратную дощечку со множеством лампочек, звонков, предохранителей и переключателей. Питер называл ее «моя диковина» и продолжал играть с ней целых два года. Однажды вечером 1949 года Дэвид Лилиенталь заглянул к Оппенгеймерам и застал Китти сидящей на полу и терпеливо пытающейся починить «диковину». Через час, когда она ушла на кухню готовить ужин, Роберт «с видом любящего свое чадо родителя занял место на полу, где его жена пыталась разобраться с путаницей проводов». Пока Роберт сидел с сигаретой в зубах и возился с проводами, Питер прибежал на кухню и громко спросил Китти: «Мама, а папа не сломает “диковину”?» Все присутствующие рассмеялись при мысли о том, что человек, управлявший созданием «штучки», мог не справиться с детской игрушкой.

Несмотря на подобные сцены семейной идиллии, Роберт, вероятно, слишком часто отвлекался, чтобы быть заботливым отцом. Однажды Фримен Дайсон спросил его, не трудно ли Питеру и Тони иметь отцом «такого проблематичного человека». Роберт с привычной беспечностью ответил: «О, с ними все в порядке. У них нет воображения». Дайсон позже заметил, что Роберт был способен «в чувствах к окружающим на быстрые, непредсказуемые переходы от теплоты к холодности». Детям приходилось нелегко. «Постороннему вроде меня, — рассказал впоследствии Пайс, — семья Оппенгеймера казалась адом на Земле. Но самое худшее было то, что страдать неизбежно приходилось двум детям».