Воронцовы всегда занимали видное положение в высшем петербургском обществе. Светлейший князь Семен Михайлович в 1862 г. производится в генерал-лейтенанты, а через двенадцать лет становится генералом от инфантерии, награждается высшими орденами и даже поощряется императором ценным подарком – 500 десятинами земли. В его имениях насчитывалось более 26 тысяч душ крестьян.
С домом на набережной реки Мойки связано одно из важных дел в жизни князя СМ. Воронцова – издание уникального 40-томного «Архива князя Воронцова». В роду князей Воронцовых числились талантливые, высокообразованные государственные деятели и известные дипломаты. В семейном архиве князя хранились весьма ценные исторические документы и свидетельства, удостоверяющие личное участие отдельных представителей этого княжеского рода в важных и весьма ответственных государственных делах, политических и военных событиях.
В архиве, доставшемся по наследству князю Семену Михайловичу, хранились подлинники «Записок» Е.Р. Воронцовой-Дашковой, личные бумаги Елизаветы Петровны и иных царствующих особ; материалы о Радищеве, Пушкине, Багратионе, сто личных писем А.В. Суворова, письма Ломоносова, Вольтера, Талейрана, Костюшко и многих иных исторических деятелей разных времен.
На издание «Архива» князь Семен Михайлович не жалел ни времени, ни личных денег. Редактором «Архива князя Воронцова» был приглашен знаменитый археограф, историк, обладавший феноменальной памятью, редкой эрудицией и талантом, книгоиздатель, основатель и редактор журнала «Русский архив» Петр Иванович Бартенев (1829–1912). По справедливой оценке этого опытного профессионала, считается, что опубликованный Воронцовым архив стал «сокровищем редких разнообразных сведений: общеисторических, политических и биографических» для всех изучающих историю России.
Княгиня Мария Васильевна Воронцова становится статс-дамой и продолжает оставаться доверенным лицом императорского семейства. Она, в числе четырех статс-дам, присутствовала на церемонии коронования императрицы Марии Александровны – супруги нового императора Александра II. Этой четверке поручалась ответственная процедура укрепления на голове императрицы короны. С весьма важной церемонией статс-дамы не справились. Во время заключительной части церемонии плохо укрепленная императорская корона неожиданно упала с головы Марии Александровны, посчитавшей подобный конфуз плохим предзнаменованием для себя. Однако Мария Александровна 24 года была императрицей и умерла в 1880 г. Светлейший князь Семен Михайлович Воронцов, за два года до собственной кончины, в день похорон императрицы в Петропавловском соборе был одним из дежурных генералов у ее гроба.