Бернстейн провел в институте два года, находя Оппенгеймера «бесконечно завораживающим». Директор института умел бывать и страшно грозным, и обезоруживающе обаятельным. Явившись однажды в кабинет Оппенгеймера на регулярную «исповедь», Бернстейн обмолвился, что читает Пруста. «Он посмотрел на меня добрыми глазами, — писал впоследствии Бернстейн, — и сообщил, что примерно в моем возрасте совершал пеший поход на Корсике и читал Пруста по ночам при свете фонарика. Он не хвастался. Он пытался поделиться чем-то сокровенным».

В 1959 году Оппенгеймер присутствовал на конференции под эгидой Конгресса за свободу культуры в западногерманском городе Райнфельден. Он и двадцать других всемирно известных интеллектуалов собрались в отеле «Залинер» на берегу Рейна неподалеку от Базеля для обсуждения судеб промышленных западных стран. Чувствуя себя в безопасности в этой орденской среде, Оппенгеймер нарушил обет молчания о ядерном оружии и с невероятной ясностью изложил, каким его видит и какую ценность придает ему американское общество. «Что следует думать о цивилизации, всегда считавшей этику важной частью человеческого бытия, — вопрошал он, — если она не способна говорить о перспективе практически всеобщего уничтожения иначе как с точки зрения рациональности и теории игр?»

Оппенгеймеру был близок либеральный, антикоммунистический посыл конгресса. Окруженный в молодости коммунистами, Оппенгеймер теперь находился среди интеллигентов, растерявших иллюзии «легкомысленных попутчиков». Ему нравилась компания участников ежегодных заседаний, в которую входили писатели Стивен Спендер, Раймон Арон и историк Артур Шлезингер-младший. Роберт подружился с исполнительным директором конгресса Николаем Набоковым. Набоков, двоюродный брат писателя, был известным композитором и жил поочередно то в Париже, то в Принстоне. Он, без сомнения, знал, что конгресс получает финансирование от Центрального разведывательного управления. Знал об этом и Оппенгеймер. «А кто не знал, позвольте спросить? Этого никто не скрывал», — вспоминал офицер ЦРУ Лоуренс де Новилль, работавший в Германии. Когда весной 1966 года «Нью-Йорк таймс» вскрыла этот факт, Оппенгеймер вместе с Кеннаном, Джоном Кеннетом Гэлбрейтом и Артуром Шлезингером-младшим подписал адресованное редактору газеты письмо в защиту независимого характера конгресса и «честности его сотрудников». Они не пытались отрицать связь с ЦРУ. В том же году Оппенгеймер в письме Набокову заявил, что считает конгресс одним из «мощных, благотворных факторов влияния» послевоенной эпохи.