Проблемой было, как им обоим удрать из Бенкулу. Некий капитан Хит согласился взять их на корабль, но губернатор не желал отпускать опытного пушкаря. Но уже ничто не могло остановить Дампира в его желании вернуться домой. Узнав, что корабль готовится к отплытию, Дампир и Джоли под покровом темноты выползли через отверстие для пушки в стене форта, сели в лодку, находившуюся у берега, и приплыли к кораблю. «Я захватил, — пишет Дампир, — дневник и большинство своих бумаг, но некоторые бумаги и книги я оставил в крепости, а также всю свою мебель» (непонятно, что Дампир имел в виду: какая мебель у этого вечного скитальца!).

Всякий, кто провел какое-то время в Бенкулу, заболевал либо дизентерией, либо тифом. Поэтому в течение всего пути через Индийский океан Дампир и все, кто был на борту корабля, беспрерывно болели. Они так ослабели, что не могли встать на якорь в Кейптауне. За них это сделали голландцы, которые жили там и хорошо зарабатывали, оказывая подобные услуги измученным плаванием или болезнями командам заходивших в порт кораблей, а также поврежденным судам.

Дампир был очень болен, но когда поправился, немедленно отправился знакомиться с неизвестным ему местом. Он принял участие в короткой экспедиции на север от Кейптауна, в район, населенный готтентотами, находившимися почти на том же уровне развития, что и австралийские аборигены, но в отличие от последних уже обращенных в рабство. Их жилища были самыми убогими из тех, что приходилось видеть Дампиру: жалкие хижины высотой примерно в три метра, крытые хворостом и тростником, похожие на копны соломы. «Они оставляли лишь небольшое отверстие высотою в три-четыре фута, через которое вползали и выползали, — писал Дампир. — Но когда ветер дул в этот выход, его закрывали и делали другой, на противоположной стороне. Они разводили огонь посередине помещения, и дым выходил из щелей во всех частях жилища. У них не было постелей, они ложились на ночь прямо у огня…»

Человек своего времени, Дампир принимал как само собой разумеющееся, что пришедшие в эти края голландцы обратили в рабство коренное население. Он высокомерно говорит о готтентотах как о «больших лентяях», третирует их как полулюдей, но зато восхищается вином, которое уже начали производить голландцы на плантациях, где в ужасающих условиях трудилось закабаленное ими коренное население. На голландских плантациях работали и рабы, привезенные из других частей Африки. Заезжие европейцы, по словам Дампира, свободно разгуливали там, сопровождаемые слугами, «покидавшими вас лишь затем, чтобы предложить попробовать тот или иной фрукт». Главным из них был виноград, который «прижился очень хорошо и урожаи его в последние годы были столь большими, что началось производство вина, которого они имеют достаточно для того, чтобы и удовлетворять свои потребности, и продавать в больших количествах на заходящие туда корабли. Их вино похоже на белое французское, но бледно-желтого цвета. Оно очень сладкое, очень приятное и крепкое».