Сергей Юльевич Витте всегда с глубоким искренним уважением отзывался о работе Павла Андреевича на нелегком дипломатическом поприще: «Он очень светский, образованный человек, весьма хитрый, но хитрый в хорошем смысле этого слова. Он имел русский характер и хитрость поляка, так как матушка его была полька. Граф Шувалов был выдающимся послом, и его в Берлине весьма любили и ценили как старый император Вильгельм, так и молодой германский император».

Так же, как его старший брат – граф Петр Андреевич Шувалов, Павел Андреевич женился дважды. Первой супругой графа стала рано умершая графиня Ольга Эсперовна, урожденная княжна Белосельская-Белоцерковская. По ее инициативе в имении Шуваловых в Парголове в 1861 г. открыли школу. Сначала учебное заведение располагалось в доме крестьянина и содержалось на средства графа Павла Андреевича, но в 1877 г. Шувалов построил для школы специальное типовое учебное здание и торжественно передал его земству.

Второй раз Павел Андреевич женился в 1877 г. на бедной фрейлине М.А. Комаровой, она была моложе любимого супруга на двадцать пять лет. Незадолго перед своей смертью граф Павел Андреевич Шувалов вместе с Марией Александровной поселился в доме генерал-лейтенанта графа Ф.В. Орлова-Денисова на Литейном проспекте, 22/16.

В Первую мировую войну Мария Александровна помогала раненым солдатам, устроив у себя в доме мастерскую Красного Креста по шитью госпитальной одежды. Журнал «Столица и усадьбы» опубликовал в одном из выпусков фотографию мастерской вдовы графа Павла Андреевича Шувалова, подписав ее: «Дамы, работающие у графини М.А. Шуваловой».

В 1855 г. наследники графа Андрея Петровича Шувалова продали отчий дом на набережной Мойки, 90/1. Особняк, сменив несколько владельцев, перешел в 1891 г. в собственность гвардейского полковника графа Владимира Александровича Стенбок-Фермора, богатого петербургского домовладельца. Новый владелец в доме не жил, а выгодно сдавал его в аренду состоятельным столичным нуворишам и аристократам.

Отец графа Владимира Александровича Стенбок-Фермора, по данным известного петербургского краеведа Е.Л. Александровой, – граф Александр Иванович Стенбок-Фермор (1811–1853) происходил из шведского рода Стенбоков, известных с XVIII века. Один из представителей этого рода – Магнус Стенбок – в 1651 г. был возведен в графское достоинство, а его потомки поселились в Эстляндии. В 1825 г. Иоганн Магнус Стенбок получил разрешение добавить к своей фамилии фамилию матери – единственной дочери известного полководца генерал-аншефа графа В.В. Фермора, англичанина по происхождению.