Однако несчастья Иоанна не ограничивались лишь Стефаном. Весной 1347 года в Константинополь пришла Черная смерть. Один из тогдашних летописцев утверждает, что чума унесла восемь девятых всего населения; должно быть, византийцы сочли это решающим доказательством того, что их заступница Богородица окончательно их покинула. В состав империи тогда входили лишь бывшая провинция Фракия (с двумя городами – Адрианополем и Дидимотикой) и несколько эгейских островов. К этим жалким остаткам можно прибавить Фессалоники, которые наконец избавились от зелотов в 1350 году, но они были лишь крошечным византийским анклавом во владениях Стефана, и добраться до него удавалось только морем.

Экономическое положение было еще более катастрофическим: война превратила Фракию в пустыню, а побережье постоянно атаковали турецкие пираты. Все продовольствие привозили генуэзцы, которые назначали свою цену и могли в любое время прекратить поставки. Торговля замерла, иперпир с каждым днем падал в цене. Любые серьезные траты становились возможны лишь благодаря просьбам о пожертвованиях или займах, и они слишком часто не соответствовали заявленным целям. К примеру, когда московский князь Симеон Гордый отправил золото на восстановление храма Святой Софии, оно ушло на плату турецким наемникам.

Первой заботой Иоанна было укрепление остатков империи. Старшего сына Матфея он назначил ответственным за обширную фракийскую территорию вдоль границы с Сербией, а младший Мануил должен был заботиться о Морее, которая с этого времени стала автономным деспотатом. Затем Иоанн обратил внимание на Галату, где взимаемые генуэзцами ежегодные таможенные пошлины были почти в семь раз выше того, что получал Константинополь. Он приказал резко снизить тарифы на импорт, так что иностранные суда вновь сочли более привлекательным западный, а не восточный берег Золотого Рога. Генуэзцы, конечно, возражали. В августе 1348 года их флотилия проплыла через Золотой Рог и сожгла те византийские корабли, которые ей удалось обнаружить, однако греки ответили ударом на удар и подожгли склады генуэзцев вдоль побережья, а также забросали Галату из катапульт огромными валунами и пылающими тюками сена. Мир был восстановлен лишь через несколько недель; однако, когда из Генуи прибыли полномочные представители, они оказались на удивление сговорчивыми. Республика с готовностью согласилась выплатить Византии контрибуцию в размере 100 000 иперпиров, обязалась освободить землю позади Галаты, которую занимала незаконно, и пообещала больше никогда не нападать на Константинополь; Византия в ответ не пошла фактически ни на какие уступки.