У дома Элдрича в тот момент тоже завязался бой. Две дивизии Слокама, которые, наконец, могли начать марш по дороге Пленк, наткнулись там на брша-ды Райта и Поузи из диви ши Андерсона. Оказавшись в меньшинстве, конфедераты сначала отошли, но Джексон вовремя заметил опасность и послал им на выручку часть дивизии Роудса. Бригада Ремсьюра из этой дивизии заменила бригаду Райта, которая при поддержке Долса двинулась в обход правого фланга северян. Третья бригада Роудса под командованием Коллквитта была брошена на крайний правый фланг линии конфедератов, где Мак-Лоуз вел бой с дивизиями Сайкса и Хамфриза. Остальная часть этой дивизии, т.е. еще три бригады, и шесть бригад из дивизии Э. П. Хилла оставались в резерве. Всего таким образом у Каменной Стены было под рукой 19 бригад, или 37 тысяч человек, не считая дивизии Клоттона, которая лишь недавно выступила в поход и была еще далеко.

К тому времени федералы гоже ввели в дело большое количество резервов. Коуч по приказу Хукера двинул на поддержку Сайксу дивизию Хенкока из своего корпуса, а Ховард, развернувший часть дивизий 11-го корпуса, мог в любой момент подкрепить Слокама. Всего у федералов было девять дивизий, в которых, считая артиллерию, набиралось 46 тысяч человек. Кроме того, с севера должен был вот-вот подойти с оставшейся у него дивизией Мид, который мог нанести во фланг корпуса Джексона сильнейший удар. Одним словом, федералы обладали существенным численным превосходством и занимали выгодную тактическую позицию, так что они могли не только обороняться, но и бить противника. Именно это и собирались сделать их командиры, когда из Чанселорсвилла неожиданно пришел приказ Хукера отходить на исходные рубежи.

Этот неожиданный приказ был воспринят всеми, кто его слышал, с явным неудовольствием. Командир правого крыла армии генерал Коуч сперва даже не захотел его выполнять и направил командующему адъютанта с просьбой позволить войскам остаться на обороняемых позициях. Но через полчаса адъютант вернулся с подтверждением прежнего распоряжения: Хукер настаивал на отступлении. Коучу не оставалось ничего другого, как подчиниться, хотя Уоррен, главный инженер армии, советовал ему пока оставить все как есть и лично направиться на встречу с Хукером.

Но этот совет уже запоздал: Слокам, сражавшийся с частями Андерсона и Роудса на дороге Пленк, успел начать отход, обнажая правый фланг дивизий Сайкса и Хенкока. Тогда Коуч также отдал распоряжение об отступлении. Когда около 2 часов дня оно было практически выполнено и на позициях оставались лишь два полка из дивизии Хенкока, прикрывавшие этот маневр, штабной офицер доставил еще один приказ, гласивший: «Удерживайте позиции до 5 часов». «Уже слишком поздно! – воскликнул раздосадованный Коуч и добавил, обращаясь к офицеру: – Скажите генералу, что он опоздал. Враг вышел на мой правый фланг и в тыл. Я отступаю».