3 февраля 1804 г. Флиндерс послал губернатору новое письмо, в котором выражал протест против действий французских властей и просил Декана принять его. Через пять дней переводчик передал ему ответ губернатора: «Капитан Флиндерс должен знать, что я не желаю его видеть и не хочу отвечать на его письма. Мне бесполезно с ним встречаться, ибо разговор, вероятно, будет таков, что вынудит меня отправить его в тюрьму».

Новые письменные обращения Флиндерса к губернатору также не привели ни к чему. Его жизнь в Порт-Луи оставалась без изменений. Лишь в последний день марта 1804 г., через 105-дней после ареста, Флиндерса поместили в доме, находившемся на расстоянии мили от города. За неделю до этого команда «Камберленда» была переведена из плавучей тюрьмы на берег, а затем отправлена в восточную часть острова.

Флиндерсу разрешили прогулки, правда в сопровождении кого-либо из французских офицеров. Первая же прогулка показала, как он еще слаб. «Эту небольшую прогулку на расстояние мили, — писал впоследствии Флиндерс, — я был в состоянии совершать лишь с помощью полковника Монистроля, на руку которого я опирался».

В доме, где теперь жил Флиндерс, находилось еще несколько английских капитанов, захваченных в плен французами. Вообще к этому времени на Маврикии было уже немало пленных британцев, поскольку французский флот, базировавшийся в основном на этом острове, в 1803–1804 гг. усилил свои действия против британских судов, плававших в Индийском океане. Командующий британским флотом в Индийском океане адмирал Питер Рейнир в июне 1804 г. приказал блокировать остров. Однако сделать это не удавалось. 27 сентября у берегов Маврикия появилась английская эскадра в составе пяти кораблей под командованием капитана Джона Осборна.

У пленников возникла надежда на освобождение. С большим волнением они ждали результатов переговоров между Осборном и Деканом об обмене военнопленными. Но Флиндерса и его товарищей по несчастью ждало разочарование. Им передали, что Декан отказался вести какие-либо переговоры об освобождении захваченных англичан. В конце октября английская эскадра отошла от острова.

Декан, отказывавший Флиндерсу во всех его просьбах и продолжавший держать капитана, по сути, под домашним арестом, был куда более снисходителен к другим британским пленным. В ноябре двум англичанам было разрешено вернуться на родину. «Я использовал благоприятную возможность, — писал Флиндерс в книге «Путешествие к Terra Australis», — послал с одним из этих джентльменов помимо общей карты Terra Australis, содержавшей все мои открытия и исследования, и записку о магнетизме судов, адресованную президенту Королевского общества».