Здесь, кроме Мещерского и Александра с его адъютантами, на вечерах собирались И. С. Аксаков, М. Н. Катков, Г. П. Галаган, Н. А. Качалов, граф А. К. Толстой, князья В. А. Черкасский, Д. А. Оболенский, С. В. Урусов и другие. Этот кружок Мещерский назвал кружком «людей правды и дела» и считал, что именно здесь будут заложены основы политических взглядов императора Александра.

Постепенно у Александра появились другие проблемы и интересы, поэтому в отношениях между Мещерским и Александром наступило отчуждение. Его положение при дворе стало неустойчивым, и это спровоцировал сам Мещерский. Он легкомысленно посчитал, что все его указания должны полностью и беспрекословно исполняться, и однажды открыто заявил о несогласии с политикой отца – Александра II.

Причиной этого было то, что к началу 1870-х Мещерский и его сторонники выработали свою собственную доктрину будущего политического устройства России. Император знал об этом, но не мог допустить нелояльного отношения к своему отцу, а также его резкость в высказываниях, импульсивность поведения и мнительность.

Разрыв их отношений произошел весной 1873 года по инициативе Александра, который прямо заявил Мещерскому, что больше не хочет его видеть. Их общение какое-то время продолжалось только в письменной форме. Мещерский писал Александру и иногда получал от него ответы. Он неоднократно просил о личной аудиенции, но получал твердый отказ. По словам Витте, Мещерский умел влезть в душу. Этого и опасался Александр III, чтобы снова не попасть под влияние бывшего наставника.

После разрыва личных отношений с Александром Мещерского сняли с должности заведующего ремесленным училищем, которое после смерти брата Александра Николая находилось под его патронатом. Отстранение произошло внезапно и без каких-либо объяснений, несмотря на то что князь очень активно работал на этом посту несколько лет.

Ему не разрешили остаться в этом учебном заведении даже как члену попечительского совета, что породило домыслы о финансовых махинациях князя. Мещерский тяжело переживал разрыв отношений с императором. Именно в этот период, в январе 1872 года, он начал издавать политический и литературный журнал «Гражданин», что в высших кругах вызвало непонимание.

Александр II говорил об этом детище князя насмешливо и пренебрежительно, давая понять Мещерскому, что, с его точки зрения, издание подобного журнала – дело в высшей степени ненужное и бесполезное. В то время газеты и журналы с их тенденциозностью и некорректностью в обществе воспринимались как что-то несерьезное по сравнению с прозой и поэзией. Занимаясь этой деятельностью, невозможно было сделать карьеру.