Дож охотно согласился, но регент Андроник, на которого оказывали серьезное давление генуэзцы в Галате, отказался отдавать остров Венеции. Венеция в ответ отказалась давать деньги, и Иоанн фактически оказался пленником венецианцев, так как Андроник и пальцем не пошевелил, чтобы ему помочь. В конце концов помощь пришла от его сына Мануила, наместника в Фессалониках. Покинув город в середине зимы, Мануил поспешил по засыпанной снегом Эгнатиевой дороге, захватив золото, которого было достаточно для освобождения отца. Лишь благодаря ему Иоанн V смог покинуть Венецию в марте 1371 года, получив от венецианцев 30 000 дукатов.

Дома его тоже ждали скверные новости. 26 сентября 1371 года турки полностью разбили сербскую армию на берегу реки Марица (иначе битва при Черномене), и больше ничто не могло помешать им овладеть Сербией, Македонией и Грецией. С того времени сербская знать считалась лишь вассалами, обязанными платить дань османскому султану, как отныне именовал себя Мурад, и по первому требованию оказывать ему военную поддержку. В 1373 году Иоанн V тоже был вынужден стать вассалом, как и болгарский царь – вероятно, просто от отчаяния. Когда под контролем турок находились и Сербия, и Болгария, крестовые походы стали практически невозможными; отрезанная от Запада Византия не могла создавать даже видимость сопротивления. Лишь объединившись с султаном, Иоанн V мог надеяться спасти хоть какие-то обломки империи: по крайней мере, Мурад мог остановить банды турецких мародеров в Македонии и Фракии, а также помочь Иоанну укрепить свои позиции против собственного сына Андроника, который вызывал у него все большую тревогу.

Именно по этим причинам в мае 1373 года Иоанн оказался в Анатолии, где сражался на стороне султана. Это само по себе было достаточно унизительно, однако еще хуже было то, что Андроник открыто взбунтовался против императора и султана. Разъяренный Мурад потребовал, чтобы Иоанн V приказал ослепить сына, и император знал, что не сможет ему отказать, но все же добился некоторого милосердия к жертве: Андроник утратил зрение не до конца и был заключен в тюрьму в Константинополе, официально лишившись права наследовать трон. Теперь престолонаследником стал Мануил, которого вызвали из Фессалоник и 25 сентября короновали как соправителя Иоанна.

Вскоре у Иоанна V возник повод пожалеть о своей снисходительности. В марте 1376 года прибыли послы из Венеции: после устранения Андроника дож желал привести в исполнение соглашение, заключенное шесть лет назад. В обмен на Тенедос он предложил еще 30 000 дукатов и возвращение драгоценностей короны и пообещал, что знамя империи будет развеваться над островом вместе со знаменем Венецианской республики. Однако генуэзцы снова помешали осуществлению этого плана, и вновь их мысли обратились к Андронику. В июле им каким-то образом удалось организовать его побег из тюрьмы, после которого Андроник отправился прямиком к Мураду и пообещал ему немедленное возвращение Галлиполи. Мурад предоставил ему смешанное войско, состоявшее из кавалерии и пехоты, с которым он смог войти в столицу. Иоанна V и его семью вскоре вынудили сдаться, и Андроник с удовольствием заключил их в тюрьму Анемас, которую сам недавно покинул; после этого он официально даровал Тенедос Генуе. Год спустя, 18 октября 1377 года, его короновали как Андроника IV, а его малолетнего сына – как его соправителя Иоанна VII. Однако генуэзцы так и не получили свой дар: византийский наместник на Тенедосе отказался отдать им остров, хотя вскоре с радостью уступил его венецианцам. Султану Мураду повезло больше: к концу 1377 года Галлиполи вновь был в его власти.