Доле, двигаясь со своей бригадой по оврагу, который охватывал высоту с юго-востока, взобрался на самое Чанселорсвиллское плато и оказался там на левом фланге дивизии Гейри и почти в тылу дивизии Уиппла. Конфедераты тут же открыли прицельный огонь, захватив северян врасплох. Сначала, когда первые залпы уложили на месте несколько взводов, федералы пришли в замешательство, но по количеству вспышек от ружейных выстрелов они быстро поняли, что им противостоят малочисленные силы. Гейри, сняв часть войск с другого участка, бросил их на фланг Долса, а с фронта южан атаковал «вечный» резерв Дэна Сиклса – бригада Уорда.

Положение южан, атакованных с разных сторон, стало крайне неуютным, и на помощь им бросилась бригада Каменной Стены во главе с Колстоном. Ворвавшись в траншеи противника между Ремсьюром и Долсом, она выбила из них северян и заставила их в сильном расстройстве отойти на сотню-другую ярдов. Казалось, что теперь-то оборона 3-го корпуса уж точно не выдержит и рухнет, как обветшалый сарай, но это была иллюзия. Федералы по-прежнему обладали численным перевесом и вскоре перешли в контратаку. Они сконцентрировали свои усилия на бригаде Колстона и выбили ее из траншей. Оставив там добрую половину своих людей, в том числе и самого Колстона, убитого вражеской пулей, бригада отошла к подножию высоты, и Ремсьюр с Долсом последовали за ней. Штурм высот Фейрвью южанами был отбит. Стюарт, у которого больше не оставалось свежих резервов, решил дать своей измученной пехоте короткую передышку, и бой продолжала только одна артиллерия. С господствующих высот она по-прежнему утюжила линию Сиклса и Чанселорсвиллское плато, заглушая ответный огонь федеральных батарей.

Нарушить это равновесие могли только свежие резервы, введенные в дело. Но конфедератам уже нечего было посылать в бой. У них не осталось ни одного полка, ни одной роты, ни одного взвода, которые еще не участвовали в битве. У Хукера, напротив, хватало свежих частей: целых два федеральных корпуса (1-й и 5-й) стояли на своих позициях, готовые нанести решающий удар и склонить чашу весов в сторону Севера. Но Драчливый Джо настолько упал духом, что и слышать не хотел о контратаке. Все его надежды были связаны с Седжвиком, и, пока тот не подошел ему на выручку, части правого крыла должны были просто держать оборону. Хукер даже соглашался отвести их, если понадобится, еще ближе к реке. И в то время как корпуса Сиклса, Слокама и Коуча, истекая кровью, сдерживали натиск врага, за их спиной закладывалась новая линия укреплений, представлявшая собой цепь траншей и редутов.