Однако самые страшные слухи о Джозефе Кервене ходили у доков в южном конце Таун-стрит. Моряки – народ суеверный, и даже матерые морские волки, ходившие в бесконечные плавания на кораблях с ромом, рабами и патокой, лихие капитаны каперов и бригов, принадлежавших Браунам, Кроуфордам и Тиллингастам, – все принимались лихорадочно чертить в воздухе знаки-обереги, завидев сухощавого, обманчиво молодого человека со светлыми волосами и немного сутулыми плечами, когда тот входил на склад на Дублон-стрит или переговаривался с капитанами и хозяевами грузов на длинном пирсе, куда без конца причаливали кервеновские суда. Его собственные работники и капитаны боялись и ненавидели его, а матросов он набирал из всякого сброда на Мартинике, Синт-Эстатиусе, в Гаване и Порт-Ройяле. Частота, с какой менялись эти матросы, пробуждала в остальных суеверный ужас. Когда судно приставало к берегу, экипаж отпускали в увольнение на сушу, а стоило всем снова собраться на борту, как обязательно кого-нибудь не досчитывались. Почти всегда пропадали те матросы, которых отправляли с поручениями на ферму в Потакете, и это обстоятельство не укрылось от внимания остальных. Вскоре Кервен начал испытывать серьезные трудности с набором экипажа. Стоило матросам узнать слухи о зловещих верфях Провиденса, как несколько человек непременно сбегали, а найти им замену на островах Вест-Индии становилось все тяжелей.

К 1760 году Джозеф Кервен стал настоящим изгоем, которого подозревали в таинственных связях с демонами и прочих страшных преступлениях – тем более жутких от того, что никто не мог их толком назвать, описать и даже доказать. Последней каплей стала история с пропавшими в 1758 году солдатами. В марте и апреле того года два королевских полка, направлявшихся в Новую Францию, были временно расквартированы в Провиденсе, после чего из обоих полков стали убывать солдаты – такое количество исчезновений нельзя было списать на дезертирство. Прошел слух, что Кервена часто видят беседующим с юношами в красных мундирах. Когда несколько из них пропали, жители Провиденса вспомнили об исчезнувших без вести моряках. Неизвестно, чем бы закончилась эта история, останься полки в городе на более долгий срок.

Тем временем дела негоцианта процветали. Кервен фактически единолично торговал в Провиденсе селитрой, черным перцем и корицей, а также стал вторым после Браунов импортером медной посуды, индиго, хлопка, шерсти, соли, снастей, железа, бумаги и всевозможных английских товаров. Почти целиком зависели от Кервена такие торговцы, как Джеймс Грин – хозяин магазинчика «Слон» в Чипсайде, Расселы, чья лавка была у Большого моста под вывеской «Золотой орел», Кларк и Найтингейл – хозяева «Рыбы на сковородке». А связи с местными винокурами, хозяевами молочных ферм, наррагансеттскими коноводами и ньюпортскими свечниками сделали его одним из ведущих экспортеров колонии.