Граф Н.Ф. Головин, проживая в 1739–1840 гг. в деревянном усадебном доме на бывшем участке Г.А. Меншикова, после грандиозного столичного пожара получил предписание: «Покрыть деревянные хоромы на каменных погребах черепицей и не ломать, пока не будет построен его каменный дом».

По оставшимся воспоминаниям очевидцев до нас дошли свидетельства: «Жил граф в деревянном доме со своей дочерью, двумя племянницами и большим штатом прислуги: иноземец шталмейстер, мадам Сара Бон – воспитательница дочери, паж, лакей, кучер, окольничий, певчие, работники „для услуг – 11 человек вольных по контракту и 35 крепостных“». Заметим, что двор графа Н.Ф. Головина на реке Мье считался тогда его загородной усадьбой. В 1744 г. адмирал и сенатор Головин уходит в отставку и получает разрешение выехать для лечения за границу, где в Гамбурге в 1745 г. он умирает.

За три года до своей кончины граф Николай Федорович выдает любимую дочь Наталью Николаевну за двоюродного брата будущего российского императора Петра III – герцога Петра-Августа Гольштейн Бека. Покровительствующая невесте императрица Елизавета Петровна устроила молодым грандиозную свадебную церемонию в Зимнем дворце, после которой молодоженов со свадебного пира до места их будущего жительства – в родительский дом Головина на Миллионной улице – препроводил торжественный эскорт конной гвардии.

Родившаяся от этого брака в 1750 г. дочь Натальи Николаевны Екатерина Петровна вышла замуж в 1767 г. за генерал-поручика князя Ивана Сергеевича Барятинского, активного участника Северной войны, назначенного императрицей Елизаветой Петровной воспитателем цесаревича Павла Петровича.

Князь Иван Сергеевич во время переворота Екатерины II остался верен присяге, данной им Петру III, в то время как его брат стал тогда активным сторонником заговорщиков. Усадьбу на набережной реки Мьи унаследовала Екатерина Петровна, но поскольку супругам после свадьбы приходилось главным образом жить во дворце, да и брак внучки адмирала Н.Ф. Головина завершился разводом, 9 июня 1768 г. княгиня Екатерина Барятинская, урожденная герцогиня Гольштейн Бек, продает старый деревянный двор своего деда на реке Мье по доверенности легендарному генерал-аншефу графу Петру Ивановичу Панину, участнику Семилетней войны и русско-турецкой кампании, командующему карательными войсками в борьбе против Е.И. Пугачева, выдававшего себя за русского императора Петра III.

Приобретенную барскую усадьбу граф Панин практически не перестраивал, а лишь слегка обновил и оштукатурил ее. Однако прожил он здесь недолго, менее четырех лет, часто уезжал из столицы и проводил время в своей любимой Москве.