Англичанин скандалил и доказывал, что это его собственный дом, что он купил его у владельца, дворянина Шпеера, за 100 тысяч рублей со всем инвентарем и приехал в нем жить. В доказательство представил купчую крепость, заверенную у нотариуса, по которой и деньги уплатил сполна. Это мошенничество Шпеера не разбиралось в суде, о нем умолчали, и как разделались с англичанином - осталось неизвестным. Выяснилось, что на 2-й Ямской улице была устроена на один день фальшивая контора нотариуса, где и произошла продажа дома».

Долгоруков был поражен ловкостью Шпеера, оказавшегося, к его удивлению, не богатым помещиком, а атаманом промышлявшей в Москве в 1870-х годах шайки «червонных валетов». После этого неприятного случая шайку поймали, но главарь ушел безнаказанным. Удар по репутации «хозяина» Москвы был таким сильным, что Долгоруков взял слово с фельетониста Пастухова, как-то пронюхавшего об этой истории, держать язык за зубами. Зубы у Пастухова оказались не такими крепкими.

Гиляровский объясняет факт неподкупности Долгорукова тем, что деньги ему не нужны были вовсе. Ведь в отличие от одного из своих предшественников, графа Закревского, красавицы жены, как и необходимости удовлетворять запросы ее любовников, Долгоруков не имел. В карты князь тоже не играл. Все, что нужно - благоволение двора и уважение москвичей, - было у него в достатке.

А в том, что главными приводными ремнями к концу градоначальства старого князя стали начальник секретного отделения его канцелярии П. М. Хотинский (через которого «можно было умелому и денежному человеку сделать все») и бессменный камердинер Григорий Иванович Вельтищев, не было ничего странного. У Закревского тоже был всесильный камердинер.

Одним из тех московских богатеев, дружбой с которым Гиляровский попрекает Долгорукова, был банкир Лазарь Поляков - видная фигура в московских деловых кругах. Он являлся не только главой ряда российских банков и крупных предприятий, но и финансистом строительства российских железных дорог, а также благотворителем, жертвовавшим деньги на Румянцевский музей и Музей изящных искусств. Поляков был частым гостем на балах в доме генерал-губернатора на Тверской, благодаря чему долгое время и после смерти Долгорукова его злопыхатели говорили, что князь чуть ли был не на содержании у банкира. Дескать, откуда Долгорукову было взять столько средств на шикарные балы, если сам он денег не считал, а потому и привлек Полякова.

И вот что интересно, уже много лет спустя Александр Солженицын также обвинял Долгорукова в нечистоплотности по причине его благосклонного отношения к Полякову, с которым князь Долгоруков вел дружбу и который, как утверждали злые языки, открыл ему в своем земельном банке текущий счет на любую сумму, а потому на банкира сыпались из года в год всякие почести и отличия.