Уладить дело с Карлом Анжуйским папе Николаю III тоже не удалось. Его попытки примирить двух врагов игнорировали оба – Карл по причине того, что еще жаждал завладеть Константинополем, а Михаил – потому что договор мог связать ему руки на Балканах, где он весьма успешно воевал против Ахейского княжества, Эпира и Фессалии. Гильом Ахейский умер 1 мая 1278 года, через год после смерти его наследника Филиппа Анжуйского. Таким образом, по условиям заключенного в Витербо договора, Карл унаследовал княжество, а с ним и сюзеренитет над всей Восточной Европой, еще находившейся в руках латинян. Жадность и порочность его наместников скоро привели к открытому бунту местных народов, и византийские войска отвоевывали Морею даже быстрее, чем прежде.

Карла это мало волновало. Смерть Николая III в августе 1280 года означала конец наложенных им запретов, и Карл наконец взялся за приготовления к давно откладываемому нападению на Константинополь. Порты и гавани на Пелопоннесе пригодились бы в морском походе против Византии, но у него не было для этого достаточного количества кораблей. Атаковать придется с суши. Осенью 1280 года войско численностью около 8000 человек, в числе которых были 2000 кавалеристов и большой отряд сарацинских лучников, двинулось на восток через Албанию к византийской крепости Берат.

В городе находился сильный и хорошо оснащенный гарнизон, однако местный командующий отправил в Константинополь гонцов с просьбой срочно прислать подкрепление. Гонцы застали Михаила VIII Палеолога в сильной тревоге: в городе продолжали кипеть страсти по поводу унии с Римом, и многие из его врагов могли расценить поход анжуйцев как способ раз и навсегда избавиться от Михаила. Если Берат падет, через несколько недель Карл будет в Фессалониках – и что тогда ждет Константинополь? Доверив своему племяннику Михаилу Тарханиоту лучшие войска, которые он смог собрать, император приказал провести по всему городу всенощное бдение. По крайней мере на эту ночь про церковную унию позабыли: из всех городских храмов эхом доносилась древняя византийская литургия, и люди молились за свою империю.

Осада Берата продолжалась всю зиму, пока в марте 1281 года не пришел Тарханиот со своим войском, и через пару дней произошла ожесточенная битва. Кавалерия латинян в тяжелых доспехах была хорошо защищена от византийских лучников, но лошадей под всадниками убивали одну за другой, и к вечеру большинство анжуйцев были убиты или взяты в плен. Для Михаила VIII Палеолога это была величайшая победа со времен возвращения Константинополя, и ее прямым результатом стала его власть над всей внутренней частью Албании и Северным Эпиром. Для Карла Анжуйского события этих нескольких роковых часов означали унижение и отсрочку осуществления его давней мечты об империи на востоке на неопределенный срок. Однако он ни в коем случае не распрощался с этой мечтой: несмотря на понесенные потери, его положение было вовсе не безнадежно; оно значительно улучшилось в феврале 1281 года после избрания понтификом еще одного француза, принявшего имя Мартина IV. Пылкий патриот Франции, не доверявший итальянцам, Мартин не скрывал своей решимости подчинить папский престол интересам Французского королевства, и со времени его назначения Карл мог беспрепятственно придерживаться политики экспансии.