Как раз в тот момент, когда в германском штабе начало складываться приятное убеждение в грядущей победе, пришло сообщение о том, что армия Ренненкампфа находится на марше. Но расстояние, покрытое им за день, создавало уверенность, что он опоздает. Действительно, ночной привал ближайшего корпуса Ренненкампфа находился в 35 километрах от Бишофсбурга, где двумя днями ранее был разбит VI русский корпус. Медленно двигаясь по вражеской территории, к концу следующего дня, 29 августа, Ренненкампф прошел всего около 15 километров на запад, а не на юг, и еще не установил контакта с Самсоновым. Это сделать так и не удалось.

Поражение «славного I корпуса», на чье сопротивление Самсонов так надеялся, в добавление к разгрому VI корпуса на правом фланге предрекло конец. Оба фланга были смяты, его кавалерия, единственное, в чем он превосходил немцев, развернутая слишком широко по флангам, не сыграла полезной роли в сражении и в настоящий момент была изолирована. Подвоз боеприпасов и продовольствия, а также связь были в полном хаосе, сражались пока еще только крепкие XV и XIII корпуса. В своем штабе в Нейденбурге он уже слышал грохот приближающихся орудий Франсуа. Ему оставалось сделать только одно. Он телеграфировал Жилинскому, что выезжает на поле боя, а потом, приказав передатчик и личные вещи отправить в Россию, оборвал связь с тылом.

Причины этого решения, как потом говорили, «он унес с собой в могилу», но их нетрудно понять. Армия, которая была поручена ему, рассыпалась у него в руках. Он снова стал кавалерийским офицером и командиром дивизии и сделал то, что хорошо знал. С семерыми членами своего штаба на лошадях, взятых у казаков, он ускакал, чтобы лично командовать под огнем, в седле, где он чувствовал себя как дома.

28 августа на окраине Нейденбурга он попрощался с майором Ноксом. Самсонов сидел на земле, окруженный своим штабом, и изучал карту. Он встал, отвел Нокса в сторону и сообщил, что положение критическое. Он сказал, что его должность и долг призывают быть с армией, но поскольку долг Нокса состоял в том, чтобы правильно информировать свое правительство о происходящем на русском фронте, он советует ему возвратиться, «пока еще есть время». Он сел на коня и, повернувшись в седле, сказал с мудрой улыбкой: «Сегодня удача на стороне врага, в другой раз она будет на нашей» — и ускакал.

Позднее генерал Мартос, руководивший боем в своем секторе с вершины холма и только что приказавший, чтобы колонну пленных немцев увели в тыл, очень удивился, когда увидел командующего армией верхом в сопровождении штаба. Узнав, что уходящая колонна — пленные, Самсонов подъехал к Мартосу, нагнулся с седла, обнял его и сказал печально: «Вы один спасете нас». Но он знал, как обстоят дела, и в ту же ночь отдал приказ об отступлении тем, кто был когда-то 2-й армией.