Каталонцы были не единственным вызовом, с которым пришлось иметь дело Андронику Палеологу. С запада ему по-прежнему угрожал Феодор Святослав, пока Андроник не уступил ему порты на Черном море, которые тот и так уже занял, вместе с рукой Феодоры – дочери Михаила IX. Сын Карла II Филипп Тарентский захватил Дураццо. С востока наступали турки. В 1304 году династия Айдынидов захватила Эфес; Осман перерезал пути сообщения между Никомедией и Никеей; а в 1308 году караманиды захватили Икониум и окончательно уничтожили давно агонизировавший Сельджукский султанат. В 1309 году остров Родос пал перед рыцарями-госпитальерами. Империя уменьшалась с каждым днем.

В 1310 году Андроник столкнулся с новым врагом – собственной женой Ириной, в девичестве Иоландой Мон-ферратской. Его одиннадцатилетняя невеста превратилась в чрезвычайно честолюбивую женщину, и отношения между супругами давно были напряженными. Кризис случился, когда Ирина предложила, чтобы после смерти мужа империя перешла не к Михаилу IX, а была разделена между четырьмя сыновьями Андроника (трое младших были, разумеется, и ее отпрысками). Император отказался, после чего Ирина с тремя сыновьями уехала в Фессалоники – дом ее детства, который к тому же был ближе к ее дочери, шестнадцатилетней Симониде, находившейся при болгарском дворе. Там она и оставалась в течение следующих семи лет, постоянно плетя интриги против мужа.

В Фессалониках жил и соправитель императора Михаил IX. Ему было около 35 лет, но он сильно разочаровался в жизни, проведя большую ее часть в военных походах и проиграв все крупные битвы. В начале 1311 года он повел войско против огромной шайки турецких грабителей во Фракии; результат, как обычно, оказался катастрофическим. После этого его освободили от военного командования, и он занялся личной жизнью. У него было четверо детей, старший из которых, Андроник, был коронован соправителем в возрасте 19 лет, в феврале 1319 года. Трон отныне делили между собой три императора, и наследование было обеспечено по крайней мере на два поколения вперед. Однако молодой Андроник вскоре стал проявлять признаки опасной неуравновешенности: он пил, играл в азартные игры и был скандально известен любовью к женскому полу. В 1320 году, заподозрив одну из своих любовниц в неверности, он устроил возле ее дома засаду для неизвестного соперника. Действительно ли этим соперником оказался его родной брат Мануил, или он случайно проходил мимо, доподлинно неизвестно, однако на него напали, и он был убит. Это потрясение оказалось слишком сильным для Михаила IX, и 12 октября он умер. Андроник-старший в ярости отрекся от внука и назвал наследником престола своего младшего сына Константина. Результатом этих событий стала гражданская война.