Летом 1818 г. американский госсекретарь вручил президенту Монро меморандум, в котором говорилось: «...так как территория между реками Сабина и Рио-Браво является Луизианой, Галвестон принадлежит нам. Прекрасным случаем подтвердить наш суверенитет была бы посылка экспедиции против Лафиттов». Монро начертал на полях меморандума: «Согласен, но действуйте без ажиотажа. Уведомите Лафиттов, что им надлежит убраться». Приказ очистить бухту и о. Галвестон был вручён Жану Лафитту в конце лета. Лафитт сделал вид, что готов подчиниться, но в действительности продолжал использовать Галвестон в качестве своей главной базы. Весной 1819 г. республиканское правительство Мексики официально назначило его губернатором острова.
3 января 1821 г. в Галвестон прибыла американская военная шхуна «Энтерпрайз» под командованием капитан-лейтенанта Кирни. Последний передал Лафитту ультимативное требование правительства США ликвидировать галвестонскую базу. 2 марта того же года оно было выполнено.
Командуя шхуной, Жан Лафитт продолжал рыскать по просторам Мексиканского залива и Карибского моря. Его брат Пьер умер у берегов Юкатана в ноябре 1821 г. Жан вертелся в кубинских водах до января 1822 г., когда его судно было расстреляно из пушек английским военным кораблём. Вплавь он добрался до кубинского берега, где в окрестностях города Санта-Крус-дель-Сур его схватила испанская стража. Несколько недель Лафитт провёл в тюрьме города Пуэрто-Принсипи, затем его перевели в больницу, откуда он сбежал в феврале того же года. Видимо, в течение нескольких лет он продолжал заниматься нелегальной работорговлей, затем след его потерялся.
По мнению ряда исследователей, 7 июня 1832 г. под именем Джона Лафлина он сочетался в Чарлстоне браком с Эммой Мортимер. В 1836 г. супруги поселились на берегу Миссисипи в Сент-Луисе, где Джон Лафлин открыл контору по торговле орудийным порохом. В 1848 г. Жан Лафитт — уже под собственным именем — совершил поездку во Францию, куда доставил груз пороха для «неизвестного покупателя». В конце 40-х и начале 50-х годов XIX в. Жан Лафитт финансировал издание книг и брошюр аболиционистов, давал деньги в фонд организации, занимавшейся выкупом негров-рабов и переселением их на север США. После трагической гибели младшего сына он перебрался в город Олтон (штат Иллинойс). Умер Лафитт 5 мая 1854 г. — после того, как простудился на р. Миссисипи, где в непогоду встречал тайный транспорт с беглыми рабами.