Действительность оказалась суровой. Петербургская движимость была совсем невелика. Долги и отсутствие средств к жизни сделали невозможным дальнейшее пребывание семьи в «столиции». 16 февраля вдова направилась из Петербурга в Москву, чтобы оттуда проследовать в имение брата Полотняный завод под Калугой.
Прибыв в Москву ночью, Наталья Николаевна, переменила лошадей и отправилась дальше. По её поручению брат Сергей Гончаров навестил отца Александра Сергеевича и передал ему извинения невестки и приглашение посетить её в Полотняном заводе1767. В путешествии Пушкину сопровождали её тётка Загряжская и сестра Александрина.
В деревне Натали не сразу пришла в себя. По словам брата, она нередко хворала, из-за чего неделями не выходила к общему столу, была «чаще грустна, чем весела»1768. В середине лета С.Л. Пушкин навестил невестку в имении, а затем уехал в Михайловское. Баронесса Е.Н. Вревская беседовала с отцом поэта и записала: «Сер. Льв. быв у невестки, нашёл, что сестра её (Александрина. –
Вдова пробыла в деревне около двух лет, а затем приехала в Петербург. Молва, порочившая её как виновницу гибели мужа, не стихла, невзирая на старания друзей поэта. Возвращение красавицы в свет, танцы, увлечения, кокетство, прежде восхищавшие свет, вызывало теперь осуждение. Некогда Пушкин писал, что готов умереть, чтобы оставить Наталью «блестящей вдовой, вольной на другой день выбрать себе нового мужа»1770. Наталья осталась женщиной в расцвете сил, блистательной вдовой, но она не была вольна устроить свою жизнь. Прошло долгих семь лет. Наконец, она вышла замуж, но не по своему выбору. Гончаровы продолжали владеть землями, заводами и крепостными, но их имущество было заложено и перезаложено и не приносило дохода. По подсчётам министерства финансов, даже в случае продажи имения на Гончаровых осталось бы полмиллиона долга. Глава дома Д.Н. Гончаров почти полностью прекратил выплату сёстрам причитавшихся им денег. Имея 4 детей, с сестрой на руках Натали столкнулась с нуждой. Характерный штрих: однажды она должна была занять чай и свечи, чтобы принять в Михайловском гостя – П.А. Вяземского. Светская жизнь требовала больших расходов и оказалась не по средствам двум сёстрам. За Натали ухаживали многие, но никто не желал на ней жениться. В числе её поклонников были, по словам её дочери Араповой, Н.А. Столыпин, князь А.С. Голицын, неаполитанец граф Гриффео.