Оппенгеймер изумился, прочитав статью в «Ньюсуик», утверждавшую, что «ведущим сотрудникам аппарата безопасности стало известно о планах коммунистов заманить доктора Дж. Роберта Оппенгеймера в Европу и уговорить его поступить, как Понти Корво [sic]», имея в виду итальянского физика Бруно Понтекорво, перебежавшего в Советский Союз в 1950 году. ФБР перехватило разговор с Гербертом Марксом, который посоветовал Оппенгеймеру ввиду таких обстоятельств написать Дж. Эдгару Гуверу письмо и проинформировать его о своих планах на отпуск. «Письмо, — говорилось в донесении ФБР, — должно было сослаться на глупые слухи, будто доктор Оппенгеймер может покинуть страну, быть похищен, подобран русской подводной лодкой, планирует провести отпуск в Европе и прочее». Оппенгеймер послушался совета и отправил письмо Гуверу, сообщив, что планирует провести три-четыре недели на яхте в районе Виргинских островов.

Девятнадцатого июля 1954 года Роберт с семьей сели в самолет до Санта-Круса, а оттуда перебрались на Сент-Джон, райский карибский островок размером с Манхэттен (площадью 21 квадратная миля) с населением не более 800 жителей, десять процентов которых приехали с «континента». В 1954 году в гавани, возможно, уже стояли на якоре несколько парусных шлюпов. В единственном поселке и торговом порту острова Круз-Бей проживали несколько сотен человек, в основном потомки привезенных на Сент-Джон рабов. Первый бар на острове — «Муи» — построят двумя годами позже. Единственное каменное здание, гостиница «Мидс инн», представляла собой одноэтажный «пряничный коттедж» в вест-индском стиле. По немощеным улицам бродили павлины и ослы.

Сойдя на берег с парома, Оппенгеймеры взяли такси-джип и по проселочным дорогам отправились на северное побережье острова. Стараясь не попадаться другим на глаза, они проехали мимо «Плантации Канил», единственного на острове престижного дома отдыха, построенного Лоренсом С. Рокфеллером, в направлении к гостинице «Транк-Бей», незатейливому полупансиону, хозяином которого была постоянная жительница острова Эрва Булон-Торп. В доме не было ни телефона, ни электричества, он вмещал не больше дюжины гостей. Если семья искала уединения, то лучшего места не могла бы найти. «Они испытали шок, — вспоминала дочь хозяйки Эрва Клэр Денхэм. — В таком укромном месте их бы никто не нашел. Они осторожничали даже в выборе собеседников. <…> Китти была все время начеку и вела себя как тигрица, стоило кому-то приблизиться к мужу, когда тому хотелось поболтать». Когда Китти бывала не в духе, она без разбора швырялась разными предметами. На следующее утро Роберт приходил к Булонам и щедро оплачивал нанесенный ущерб. Пользуясь Круз-Бей как базой, Оппенгеймеры провели на архипелаге пять недель, ходя под парусом на «Команче» вокруг Сент-Джона и соседних Британских Виргинских островов.