Стало ясно, что возвращение Константинополя – лишь вопрос времени, и оно вот-вот настанет. Из всех союзников у Балдуина остались только папский престол и Венеция. Папа Александр IV не интересовался Балдуином, так что оставались венецианцы: они во многом несли ответственность за создание Латинской империи, а их флот из 30 кораблей все еще патрулировал Босфор. Однако вскоре даже с венецианской поддержкой возникли сложности, поскольку 13 марта 1261 года Михаил Палеолог, отчаянно нуждавшийся во флоте, подписал договор с Генуей, по которому обещал генуэзцам в обмен на помощь все концессии, которыми прежде пользовалась лишь Венеция, с собственным кварталом в Константинополе и других ключевых портах империи, а также свободный доступ к портам в Черном море. Для Генуи это было историческое соглашение, по сути заложившее основу ее торговой империи на Востоке.

Возвращение Константинополя в конечном итоге произошло почти случайно. Летом 1261 года Михаил VIII отправил Алексея Стратегопула с небольшим войском во Фракию, чтобы они там слегка побряцали оружием и заодно прощупали оборону города. В Селимбрии Алексей узнал, что латинский гарнизон отсутствует – венецианцы забрали его, чтобы атаковать никейский остров Дафнусия, чья гавань контролировала вход в Босфор со стороны Черного моря. Ему рассказали также о боковых воротах в стене, через которые несколько человек легко могли проникнуть в город. Шанс был слишком хорош, чтобы его упускать, и в ту же ночь отряд пробрался в город, застал врасплох стражников и сбросил их с бастионов, после чего тихо открыл одни из ворот, и на рассвете 25 июля 1261 года армия вошла в Константинополь.

Балдуин, разбуженный всеобщим шумом, бросился бежать. Пешком добравшись до маленькой гавани Буколеон, он сбежал на венецианском торговом корабле на принадлежавший латинянам остров Эвбея. Алексей и его люди тем временем подожгли весь венецианский квартал, чтобы моряки по возвращении с Дафнусии обнаружили разрушенные дома и напуганные семьи, сбившиеся кучками на пристани, и единственной возможностью для них стало бы возвращение в свою лагуну. Среди оставшихся франков, которых в общей сложности насчитывалось около тысячи, распространилась паника. Некоторые спрятались, другие бежали в монастыри, кое-кто даже воспользовался канализационными трубами; однако никакой резни не произошло. Постепенно франки выбирались из убежищ и спускались к гавани, где ждали 30 венецианских кораблей. Они тоже отправились на Эвбею, не позаботившись даже о провизии, поскольку летописи сообщают, что многие беженцы умерли от голода по дороге.