Но едва только они достигли этого, как с другой стороны они попали в самую ужасную беду. Самый опасный враг, с которым византийцам приходилось бороться в последнее десятилетие, болгарский король Иоанн, двинулся теперь и против франков. Последние тяжко оскорбили его тем, что с глупым высокомерием и насмешками отказались от дружбы и союза, которые он им предлагал. Ему тем легче был отомстить за это, что фракийские греки, оскорбительно притесняемые во многих местах своими новыми господами, с отчаянием искали избавителя и потому не пренебрегли войти в тайный союз с варварским болгарским владетелем для истребления своих угнетателей. В марте 1205 внезапно поднялись граждане Адрианополя и других фракийских городов и в кровопролитном восстании перебили или прогнали франкские гарнизоны. Бальдуин и Дандоло поспешили туда со всеми войсками, какими могли располагать, и осадили Адрианополь. Но там появился и Иоанн с бесчисленными толпами большею частью легкой конницы. 15 апреля войска схватились. Рыцари с безрассудной поспешностью бросились на презираемых врагов, а те, со своей стороны, сражаясь подобно сельджукам, уклонились бегством от натиска панцирных отрядов, пока те не остановились истощенные и не пали почти беззащитными жертвами варваров, которые набросились на них со всех сторон. Триста лучших рыцарей были убиты или взяты в плен, и между последними также император Бальдуин. Остаток франкского войска после этого не мог удержаться внутри Фракии и оставил всю провинцию до южного берега на произвол быстро настигавшим их врагам. Старый Дандоло, глубоко потрясенный такой ужасной переменой счастья, умер в печали и заботе 1 июня 1205.

Тяжелое поражение вскоре зловредно отразилось на азиатском театре войны. Войска, которые до сих пор сражались там победоносно, должны были как можно поспешнее вернуться в Европу. Феодор Ласкарис искусно и счастливо воспользовался представившимся ему здесь случаем расширить свои владения в западной Малой Азии во всех направлениях, и скоро достиг того, что все греки этих местностей признали его императором. Столицей его стала Никея.

Но среди крестоносных рыцарей, которые возвратились из Азии для спасения своего государства, находился высокоодаренный человек, граф Генрих, брат императора Бальдуина, столько же осторожный полководец, сколько умный государственный человек. Начальники войска тотчас выбрали его наместником государства, и уже скоро имели достаточно оснований с благодарностью и уважением смотреть на своего нового властителя. Он, хотя с переменным счастьем, но вообще успешно воевал с болгарами, и снова возвратил империи главные области Фракии. Для франков было при этом благоприятно то, что греки, которых более чем когда-либо мучили дикие толпы царя Иоанна, охотно изъявили готовность вернуться под власть латинского императора. Генрих понял, какие выгоды можно было извлечь из этого примирительного настроения. Поэтому он дружелюбно отнесся к грекам и, сколько можно, брал их к себе на службу. Богатому и уважаемому Феодору Вране, родственнику Комненов, он даже отдал в ленное владение Адрианополь вместе с другими фракийскими городами, и этим привлек к себе сердца греческого народа. Таким образом он уже показал себя в высокой степени способным решить тяжелую задачу правителя, когда наконец, летом 1206, стало известно, что император Бальдуин умер, неизвестно — своей ли смертью, или убитый в тюрьме болгарами. При выборе преемника между франкскими предводителями войска не было никакого разногласия — превосходный наместник государства был избран императором Романии в августе того же года.