Не упоминала теперь мать и про «вдовий дом», куда одно время хотела устроиться. Ее письма с описанием хлопот «у начальства» доставляли Анатолию Федоровичу немало огорчений.
«…Теперь вот что, голубчик. Знаешь ли, что есть мне надежда попасть во Вдовий дом — там попечитель Георгий Иванович Барановский, я с ним познакомилась еще в Саратове, где он был губернатором… Ну, тогда конец скитаниям, а берег, берег и Богу слава. Прекрасное положение, церковь, больница и большой сад — чего лучше старушке?»
Материально он мать хорошо обеспечивал, каждый месяц посылал деньги для безбедного существования, а вместе они жить не могли. «В наших характерах и взглядах в начале было много противоречий. Но с годами все это сгладилось. Взаимная терпимость вступила в свои права, и сороковые годы моей жизни были уже наполнены возродившимися чувствами детской нежности к моей многострадальной матери», — вспоминал Анатолий Федорович. Но, наверное, взаимной терпимости оказалось недостаточно для совместного житья. Человек очень щепетильный во всем и особенно в том, что касалось службы, Кони переживал и раздражался, когда мать хлопотала за кого-то, передавала ему письма от незнакомых посетителей, обсуждала с приятельницами его успешное выступление или очередное назначение. В письмах Ирина Семеновна часто оправдывается перед сыном:
«Пишу это письмо в большом страхе, что ты снова станешь меня упрекать за то, что я прошу тебя за кого-нибудь, уверяю тебя, что я не прошу и просить тебя не буду никогда, и если ты получишь какое-нибудь письмо с моею припискою, то, пожалуйста, не обращай на это внимания — недавно приехал ко мне Андреев Александр Николаевич с женою и привез с собою письмо, которое ты если не получил, то получишь, и умолял меня сделать на нем приписку к тебе: «Вы мать, и Ваше слово будет много значить». Ну как было отказать? Ну я и написала; только ты не придавай этому никакого значения и, пожалуйста, не делай мне выговору — мне каждое, самое небольшое огорчение… большое страдание. Я, право, не виновата. И за что только они ко мне едут? Не компрометируя себя, я не могу говорить, что не смею писать, не сделав тебе неприятность…»
На следующее утро он заехал к матери на чай. Поговорили о погоде и грязных московских улицах, становившихся непроходимыми после дождя. Ирина Семеновна учила сына новым пасьянсам — последние годы раскладывать пасьянсы стало ее любимым занятием. К обеду Анатолий Федорович отправился на Пироговку. Посмотреть памятник доктору Гаазу. Когда он вернулся, матери уже не было в живых.