В 1702 году Шереметев вновь дрался с Шлиппенбахом при Гуммельсгофе, уже всего лишь с трехкратным перевесом, и опять взял верх.
Однако главным достижением фельдмаршала были не победы в поле, а стратегия, которой он придерживался. Борис Петрович чередовал опустошительные рейды на вражескую территорию с постепенным «ползучим» наступлением, в ходе которого занимал все новые и новые опорные пункты. Так он прибрал к рукам всю Ингерманландию, взяв крепости Мариенбург (где в плен к нему попала будущая императрица Екатерина), Ниеншанц, Нотебург. В 1704 году фельдмаршал добрался до Дерпта, но взять большой, сильно укрепленный город не сумел.
Эта неудача сильно повредила Борису Петровичу в глазах государя и стала концом шереметевского взлета. К этому времени Петр уже не очень боялся шведов, ему хотелось повоевать самому. Шереметев с его медлительностью стал царя раздражать. Лично явившись к Дерпту, государь объявил, что осада ведется из рук вон плохо и что фельдмаршал только «туне людей мучил». Штурмом руководил сам Петр, город взял и после этого уже не считал Шереметева единственным и незаменимым.
Б.П. Шереметев.
На время главным человеком в русской армии становится «настоящий полководец», генерал имперской службы Огильви, что ужасно оскорбляет Бориса Петровича. Таких обид было немало и в дальнейшем.
Еще одним ударом по престижу фельдмаршала стало сражение при Гемауэртгофе в Курляндии (июль 1705 года). Борис Петрович изменил своей обычной осторожности и вступил в бой с небольшим преимуществом, да еще атаковал. Левенгаупт, один из лучших шведских генералов, устоял и заставил русских отойти, нанеся им чувствительные потери.
Главный фаворит Меншиков, оказавшийся хорошим кавалерийским начальником, норовит оттеснить стареющего фельдмаршала на второй план. В конце концов Петр делит командование: первому поручает конницу, второму пехоту. Это было довольно странное решение, не способствовавшее согласованным действиям армии.
Из-за плохой координации в июле 1708 года русские понесли серьезное поражение при Головчине – в значительной степени по вине Шереметева, который не привел главные силы на помощь дивизии Репнина.
«Большая война» удавалась фельдмаршалу хуже, чем «малая». Петр назначает его как самого заслуженного русского полководца главнокомандующим и во время Полтавской битвы, и в Прутском походе, но должность эта номинальна, поскольку все решения царь принимает сам. Когда же Борис Петрович получает важное самостоятельное задание – взять Ригу, то застревает под ней на целых 9 месяцев.