В 1710 году Остерман — секретарь посольского приказа, сопровождает Петра в неудачном Прутском походе.

В 1713‑м — участвует в переговорах со шведскими уполномоченными, а в 1721‑м — вместе с Брюсом заключает долгожданный Ништадтский мир, за что царь возводит его в баронское достоинство, награждает деньгами и поместьями. Чтобы закрепить Остермана за Россией, Петр решает женить его на русской аристократке. И сватает за него Марфу Стрешневу, которая приходится родственницей царской фамилии. Женившись, Остерман умудряется не изменить вероисповедания и остается лютеранином.

В 1723 году его усилиями Россия заключает выгодный торговый договор с Персией, что доставляет Остерману звание вице-президента Коллегии иностранных дел. Прозванный в шутку с легкой руки царицы Прасковьи «Андреем Ивановичем», он оставляет за собой это имя. Остерман — постоянный советник Петра и в делах внутренней политики. Участвует в составлении «Табели о рангах», в преобразовании Иностранной коллегии, уточняет и разрабатывает многие другие нововведения. В последние годы Петр был недоволен Шафировым из-за его вражды с Головкиным в связи с плохо скрытым желанием занять место канцлера. Но чем сильнее умалялось значение вице-канцлера, тем сильнее возвышался Остерман, его правая рука...

После смерти Петра многим казалось, что авторитет Остермана пошел на убыль, «но это, — пишет историк Соловьев, — не надолго. Без Остермана было трудно. Юные широкие натуры русских людей, оставленных России Петром, были мало склонны к постоянному усидчивому труду, к соображению, изучению всех подробностей дела, чем особенно отличался немец Остерман, имевший также важное преимущество в образовании своем, в знании немецкого, французского, итальянского, усвоивший себе и язык русский. И вот при каждом важном, запутанном деле барон Андрей Иванович необходим, ибо никто не сумеет так изучить дело, так изложить его, и барон Андрей Иванович идет все дальше и дальше; его пропускают, тем более что он не опасен, не беспокоен, он один, он не добивается исключительного господства: где ему? он такой тихий, робкий, сейчас и уйдет, скроется, заболеет, он ни во что не вмешивается, а между тем он везде, без него пусто, неловко, нельзя начать никакого дела; все спрашивают: где Андрей Иванович? Для министров иностранных это человек важный и опасный: он при обсуждении дела не закричит, как неистовый Ягужинский, но тихонько укажет на такую «конъюнктуру», что испортит все дело. 24 ноября 1725 года, в день именин императрицы Остерман был сделан вице-канцлером». Прекрасно написанная характеристика. Грешно не отдать должное удивительному литературному таланту историка.