Но теперь пилигримы уже так твердо рассчитывали на счастливый исход своего предприятия, что поделили добычу еще раньше, чем она попала к ним в руки. В начале марта 1204 г. венецианский дож и «сиятельнейшие князья» крестоносного рыцарства, во главе их Бонифаций Монферратский и Бальдуин Фландрский, заключили между собой договор, по которому они вперед хотели решить будущую судьбу Византийской империи. По этому договору обе главные группы, из которых состояло франкское войско, т. е. венецианцы и крестоносцы», должны были назначить шесть выборных людей, который потом, после победы над греками, избрали бы в императоры лучшего и способнейшего из своих боевых товарищей. Этому латинскому императору должна была подчиниться вся Византийская область, но в его непосредственное распоряжение была предоставлена только четвертая часть ее; остальные три части должны были быть разделены на две равные части между венецианцами и крестоносцами за определенную ленную службу, которую они должны нести императору. Венецианцам в новой Латинской империи были бы без всякого ущерба сохранены все права, обычаи и имущества, которыми они пользовались прежде в Византийской империи, а та из двух главных групп франков, из которой не будет избран император, должна получить Софийский собор и избрать будущего римско-католического константинопольского патриарха.

Но прежде всего надо было победить греков, т. е. главным образом взобраться на высокие башни и стены, которыми были окружен царственный город. Чтобы попытаться на это с хорошей надеждой на успех, франки вооружились штурмовыми лестницами и всякого рода осадными машинами, как для морской, так и для сухопутной войны. 8 апреля приготовления были окончены. Все войско переправилось на флоте через Золотой Рог и заняло позицию при так называемой гавани крестоносцев, бухте на юго-восток от Влахерны. Поэтому нападение направилось на ту же полосу стены, где уже в предыдущем году удалось завоевание города. На этот раз пришлось наткнуться на более сильное сопротивление, потому что Алексей V не только позаботился о том, чтобы как нельзя лучше защитить город, но и сам поспешил к угрожаемой местности, чтобы поддержать мужество войск своим присутствием. Поэтому первый день битвы, 9 апреля, принес франкам только тяжелое поражение. Их бурное нападение разбилось об силу укреплений и под градом выстрелов, которые посыпались на них с башен и стен. Потеряв значительное количество людей и орудий, они должны были, наконец, прекратить штурм. Греки ликовали и насмехались, потому что считали себя освобожденными от всякой опасности; но франки извлекли из своей неудачи урок, что для решительного удара они должны вооружиться еще заботливее и серьезнее, чем они это делали до сих пор. Гарнизон ревностно работал над восстановлением и усилением машин; князья-военачальники обещали большие награды самым отважным, а священники церковными торжествами поднимали мужественное одушевление всего войска. Рано утром, 12 апреля, начался второй штурм. Целые часы приходилось бороться напрасно. Наконец, после полудня, двум кораблям, связанным между собой цепями, удалось близко подойти к одной крепостной башне и укрепить к ее зубцам штурмовые лестницы. Скоро башня была взята и занята сильным отрядом. Почти в то же время одному исполину рыцарю, Петру Амьенскому, удалось сломать одни городские ворота, и вот в открытые улицы ворвалось все войско, кровожадно упоенное победой. Греки отступили в трусливом ужасе. Напрасно старался император собрать бегущих и повести их на новый бой. Не помогали ни просьбы, ни угрозы, и наконец Алексей решился на бегство, «чтобы не сделаться кормом для мстительных латинских челюстей». Он ушел на запад через Золотые ворота и оттуда на море. Его отступление ужасно освещалось пылающим городом, который был во второй раз подожжен гневными победителями.