Между тем, и радость христиан, и отчаяние их противников были только отчасти основательны. Завоевание Дамиетты не имело того чрезвычайного значения, которое в ту минуту приписывалось ему со всех сторон. Крестоносцьг должны были рано или поздно опять потерять этот город, если бы кроме него не подчинили своему господству весь Египет. Но достанет ли у них силы для этого, было в высшей степени сомнительно ввиду все еще значительной оборонительной силы Эйюбитов.
Уже в течение года ход событий ясно показал, что предстояло преодолеть еще очень большие трудности, чтобы довести дело Креста на Ниле до полной победы. Опять значительные отряды пилигримов вернулись обратно на родину и хотя со всех сторон прибывали на их место новые воины, но войско подкреплялось этим едва ли достаточно для того, чтобы с ним подчинить богатый и густо населенный Египет. К этому присоединились гнусные раздоры среди христиан в Дамиетте. Король Иоанн Иерусалимский желал, чтобы город был присоединен к его владениям. Легат долго возражал ему, наконец наполовину согласился, но своим первоначальным отказом и вообще своим безмерным властолюбием вызвал среди пилигримов раздражение, которое много раз доводило до возмущения и кровопролития. Кроме того, дела северной Сирии оказывали в это время вредное действие на крестовый поход. А именно, князь Боэмунд IV в 1216 году был вытеснен из Антиохии своим соперником, принцем Рубеном, и ограничен одним Триполисом. Но в мае 1219 умер покровитель Рубена, старый король Армении, Лев. После его смерти Боэмунд опять завладел Антиохией, а Армения впала во внутренние смуты, которые подали антиохийцам или вообще франкам надежду приобрести большее влияние в этой стране. Король Иоанн, услышавши об этом в лагере под Дамиеттой. потерял всякую охоту к войне в Нильской долине. Поэтому он покинул крестоносцев и вернулся в Сирию с желанием приобрести из этих дел какую-нибудь выгоду для себя. Здесь он оставался до лета 1221 года, не найдя все-таки случая для исполнения своих желаний, и потребовались многократные церковные увещания и обещания для того, чтобы побудить его к завершению египетского похода.
Во время его отсутствия легат Пелагий несколько раз пытался увлечь войско к большому нападению вверх по Нилу. Духовенство Дамиетты по большей части вторило представителю папы, но рыцари так же единодушно объявили, что войско слишком слабо, чтобы осмелиться идти на такой риск, но что надо дождаться, во-первых, дальнейшего подкрепления с Запада, а во-вторых, возвращения короля Иоанна из Сирии. Легат просил и требовал, чтобы за ним следовали, порицал и грозил в резких словах за эту медленность, но, несмотря на все это, деятельность всего войска ограничилась в течение 1220 года незначительными набегами.