К тому времени Иоанн VI Кантакузин утратил всякий интерес к власти. Он купил себе участок земли на горе Афон и часто рассуждал о привлекательности монашеской жизни. Он ведь с самого начала поддержал законные требования Иоанна V Палеолога, но тот продемонстрировал, что легко становится марионеткой в руках венецианцев, болгар и Стефана Душана; поэтому в апреле 1353 года Иоанн VI Кантакузин объявил Иоанна V Палеолога официально низложенным и назначил вместо него своим соправителем сына Матфея, однако подчеркнул, что Палеологи не лишаются наследства и что сын Иоанна Андроник остается престолонаследником. После этого он сослал зятя и его семью на остров Тенедос.
И вновь Кантакузин недооценил оппозицию. Патриарх наотрез отказался проводить коронацию Матфея, объявил об отлучении Кантакузина от церкви и подал в отставку. Несколько дней спустя он пробрался в Галату, а оттуда добрался до Тенедоса. Его преемником избрали некоего Филофея, горячего сторонника Кантакузина, однако Матфея и его жену короновали лишь в феврале 1354 года.
Меньше чем через месяц, 2 марта, сильнейшее землетрясение опустошило большую часть Фракии. Были разрушены сотни городов и деревень, в Галлиполи почти не осталось уцелевших домов. К этой катастрофе добавилась еще одна – турки. Сулейман-паша немедленно отправился на пострадавшие территории, прихватив с собой все турецкие семьи, которые смог найти. Большинство из них направились на руины Галлиполи, и через несколько месяцев население этого некогда греческого города полностью состояло из турок.
Для Византии это первое турецкое поселение на европейской территории стало гораздо большей бедой, чем само землетрясение. На требование Иоанна вернуть город Сулейман ответил, что он достался ему по воле Аллаха, и вернуть его – значит проявить нечестивую неблагодарность: он ведь не взял город силой, его люди лишь заняли место, покинутое прежними обитателями.
21 ноября 1354 года Иоанн V Палеолог сбежал с Тенедоса, приплыл через Дарданеллы в Мраморное море и рано утром 22 ноября добрался до Константинополя, где с рассветом на улицах уже собирались толпы людей. Вскоре начался неизбежный разгул: семейный особняк Кантакузинов вновь разграбили и подожгли; некоторые мятежники захватили склад оружия, другие пошли на Влахернский дворец, а Иоанн V тем временем обосновался в старом дворце напротив храма Святой Софии. Его предложения были на удивление умеренными: два Иоанна должны были править совместно, как и раньше, а Матфей оставался в Адрианополе до самой смерти. Кантакузин как старший император мог по-прежнему жить во Влахернах, а сам Иоанн V займет личный дворец Феодора Метохита – один из самых богатых в городе.