Действительно, в Грузино новый граф организовал образцовое хозяйство, выдавал каждому крестьянину по корове, составлял рескрипты о том, как матери должны кормить грудных детей, построил для детей школу, построил каменную церковь с высокой колокольней, поставил памятники Павлу I и офицерам Гренадерского имени Аракчеева полка, павшим в 1812–1814 гг., недалеко от церкви колоннаду со скульптурой И.П. Мартоса в центре, изображающей апостола Андрея Первозванного, две высоких башни на пристани.

Экономкой в имении стала Настасья Минкина, крепостная, гражданская жена Аракчеева и мать его единственного сына.

Настасья стала идеальной спутницей жизни Аракчеева, его Евой в Эдемском саду. Историк XIX в. Сергей Николаевич Шубинский пишет о ней: «Настасья была действительно отличная хозяйка. Она не давала никому отдыха, входила во все мелочи, сама ездила на работы, на сенокосы, наблюдала за проведением дорог, за копанием прудов и канав, по нескольку раз в день заглядывала на скотный и птичий дворы, даже графских музыкантов посылала чистить сад и убирать хворост. Она варила превосходное варенье, сушила зелень, отправляла в Петербург к столу Аракчеева разную провизию счетом, весом и мерою, чем приводила его в восхищение». При этом она отличалась властолюбием и патологической жестокостью и в конце концов ее убили крестьяне.

Горе Аракчеева было неподдельно. Бросив все свои дела, он примчался в Грузино, на похоронах бросался на гроб Настасьи, хотел, чтобы его похоронили вместе с ней, потом впал в мрачное уныние. Чтобы вывести Аракчеева из скорби, в которую он погрузился, император не только написал ему сочувственное письмо, но и прислал в его имение вернувшегося из ссылки Сперанского. Мы не знаем, какими словами утешал Алексея Андреевича Михаил Михайлович, но он не мог не увидеть в этом частном случае симптома общего неблагополучия в России. Для Аракчеева же кроме огромного личного горя убийство Минкиной, по-видимому, оказалось преступлением, осквернившим его Эдем, его идеальный мир.

Крестьян, участвовавших в убийстве Настасьи, судили и приговорили к наказанию кнутом и ссылке на каторгу. Двое умерли во время экзекуции, остальные осужденные смогли перенести порку и отправились в Сибирь, где позже с ними встречался декабрист Н.И. Лорер и отмечал в своих записках: «Эти люди рассказывали нам такие ужасы про своего прежнего господина, что сердце, бывало, содрогается».

После выхода в отставку Аракчеев прожил еще десятилетие и скончался 21 апреля 1834 г., «не спуская глаз с портрета Александра, в его комнате, на том самом диване, который служил кроватью Самодержцу Всероссийскому».