С огромным трудом директору Третьего отделения графу А.Х. Бенкендорфу удалось уговорить царя не закрывать «придворный журнал», мотивируя свою просьбу тем, что Булгарин не понял подлинного скрытого смысла поэмы графини Ростопчиной. Николай Павлович с трудом согласился с доводами своего любимца, но напоследок все же заявил Александру Христофоровичу довольно остроумно: «Если он (Булгарин. –
В столичных литературных кругах различных течений теперь все питали к Н.И. Гречу и Ф.В. Булгарину самое глубокое презрение и неприязнь. Их буквально осыпали потоками весьма язвительных и острых эпиграмм. После остроумного высказывания А.С. Пушкина в адрес Н.И. Греча и Ф.В. Булгарина на обеде у Смирдина их стали называть «братья-разбойники».
Авторитет и тиражи изданий «братьев-разбойников» стали снижаться. В 1840-х гг. В.Г. Белинский уничтожил Булгарина и Греча как публицистов. Он весьма прямолинейно и образно охарактеризовал тогда Н.И. Греча: «Это литературный Ванька-Каин, человек, способный зарезать отца родного и потом плакать публично над его гробом, способный вывести на площадь родную дочь и торговать ею… Это грязь, подлость, предательство, фискальство, принявшее человеческий образ». Лишь император Николай I продолжал с удовольствием заявлять про «Северную пчелу»: «Моя газета!»
Однако число ее подписчиков катастрофически падало, доход становился минимальным, а нерасторопность в делах Н.И. Греча, его жизнь в особняке на набережной реки Мойки на широкую ногу привели в конце концов почти к полному разорению. Незадолго до своей смерти Н.И. Греч вынужден был продать дом № 92 на набережной Мойки и перебраться на казенную квартиру своей второй жены.
Новый владелец дома № 92, известный архитектор Иероним Дементьевич Корсини, в 1865 г. перестроил особняк под доходный дом с несколькими меблированными комнатами и стал сдавать их в аренду.
Осенью 1865 г. учащийся выпускного класса столичной Консерватории Петр Ильич Чайковский, вернувшись в Петербург, поселился на Мойке, 92, в доме, расположенном по соседству с особняком Юсупова. По этому случаю он написал сестре: «Квартиру Елизавета Михайловна наняла мне очень сносную за баснословно дешевую цену: 8 рублей серебром, у какой-то доброй старой немки. Вчера утром переехал, комнатка очень маленькая и очень чистенькая; расположение духа моего после деревенского простора несколько хоть и страдает от этих крошечных размеров, но тут все дело в привычке».