А как же было не любить такого почти что своего человека. Ведь ему было свойственно многое из того, что так уважали москвичи. Так, известна была его религиозность. В 1867 году Долгоруков приказал изящно отделать домовый храм генерал-губернаторской резиденции, существовавший в здании с 1806 года на втором этаже неподалеку от парадной лестницы.

Присутствовать на торжественных молебнах в кремлевских соборах Долгоруков был обязан по должности. Но его не раз видели и на богослужениях в маленьких тесных церквях, спрятавшихся в московских переулках, причем, не желая быть узнанным, князь приходил часто не в мундире, а в партикулярном статском платье. А сколько раз его встречали в домовом храме Московского университета на Татьянин день!

Была у него еще одна привязанность. Долгоруков, например, любил попариться в популярнейших Сандуновских банях, где для него в отдельном номере семейного отделения всегда были приготовлены серебряные тазы и шайки. Хотя у князя в особняке были мраморные ванны. И все знали, что он это любит, и за это тоже уважали его. Была в самом факте посещения Долгоруковым Сандунов некая объединяющая его с остальными москвичами платформа.

Быть может, любовь к русской бане и березовым веникам и позволила Владимиру Андреевичу сохранить до преклонных лет отличную выправку и офицерскую стать. Не злоупотреблял он и всякого рода нехорошими излишествами. «Это был генерал еще николаевских времен, и по внешнему виду напоминавший эти или даже еще александровские времена, с зачесанными кверху височками, с нафабренными усами, невысокого роста, затянутый в мундир, в эполетах, с бесчисленными орденами на груди. Говорили, что он носит парик, что красится, что под мундиром носит корсет. Это был бодрый и даже молодцеватый старик-генерал», - отмечал Богословский.

Но и удельные князья стареют и болеют, особенно когда им за восемьдесят. И вскоре после грандиозно отпразднованного юбилея Владимир Андреевич запросился в отставку, последовавшую 26 февраля 1891 года. А вскоре Москва получила нового генерал-губернатора - великого князя Сергея Александровича Романова. Правда, злые языки утверждали, что Долгоруков ушел не сам, а его «ушли». Дескать, из-за его напряженных отношений с царской семьей. Не упускал он случая дать почувствовать царствующему дому, что происходит из древнего рода. А двор с трудом терпел его и в конце концов вынудил подать в отставку. А сам Владимир Андреевич уходить не собирался - хотел умереть в Москве, здесь, среди своих. Узнав же об отставке, сначала не поверил, прослезился и спросил: «А часовых. часовых около моего дома оставят? Неужели тоже уберут. и часовых?!» И часовых тоже убрали.