В декабре 1815 года Толь был назначен генерал-квартирмейстером только что учреждённого Главного штаба, который отвечал за ведение военно-исторической службы в русской армии. На своём новом посту Карл Фёдорович создал «Военную историю кампании 1812 года» — обстоятельное описание боевых действий, главным образом, с их стратегической стороны.

Толь сразу начал рассылать (вместе с начальником Главного штаба генерал-лейтенантом П. М. Волконским) многочисленные обращения к участникам Отечественной войны и заграничных походов о представлении сведений по боевым операциям (журналы военных действий, планы сражений и личные воспоминания о них).

В ноябре следующего года Александр I поручил А. А. Жомини, видному историку и военному теоретику, составить на французском языке описание кампаний 1812–1815 годов, с тем чтобы труд Толя влился в состав этой общей истории, предназначавшейся для зарубежного читателя. По указанию царя акцент в этом объёмном труде делался не на Отечественной войне, а на заграничных походах. По этой концепции события 1812 года теряли свой уникальный характер и растворялись в обзоре всех кампаний указанного выше периода.

Сразу после окончания наполеоновских войн Карл Фёдорович приступил к составлению собственных записок мемуарного плана. Одна из них носит название «Подробное описание, как решено было дать сражение под Лейпцигом», другая — «О кампании 1814 года, начиная с Бриеннского сражения». В ней Толь писал о пребывании в штабе австрийского фельдмаршала Ф. Шварценберга. Карл Фёдорович живо описал обстановку в Главной квартире, свои впечатления от встреч с царём, П. М. Волконским, Л. Л. Беннигсеном и другими военачальниками.

Эти фрагменты воспоминаний Толя сохранились в архиве историка А. И. Михайловского-Данилевского, которому Карл Фёдорович писал: «Посылаю вам записки мои, которые собраны мною в том предположении, что они со временем детей моих интересовать могут, а отнюдь не для того, чтобы сделать их известными публике. По сему прошу вас прочесть их и сохранить собственно для себя то, что вам любопытно покажется, а по совершенной ненадобности более в них возвратить ко мне».

Свои знания опытного штабиста Карл Фёдорович весьма некстати (для восставших) проявил 14 декабря 1825 года на Сенатской площади, подтолкнув царя к решительным действиям.

— Государь, прикажите площадь очистить картечью или откажитесь от престола! — заявил барон колебавшемуся императору.

Николай I оценил совет, и в дальнейшем карьера Толя проходила весьма успешно. За участие в Русско-турецкой войне 1829–1829 годов Карл Фёдорович получил орден Святого Георгия 2-го класса (отличился в сражении при Шумле), был возведён в графское достоинство Российской империи, а вскоре стал членом Государственного совета.