Впрочем, насладиться жизнью в новом семейном гнезде Хайду не удалось. «Кларендон-хауз» был достроен всего за несколько месяцев до его отставки и бегства из Англии, и стал поводом для общественного недовольства. Стоимость строительства составила порядка сорока тысяч фунтов, при этом ходили разные слухи, например, что Кларендон использовал камень, предназначенный для реставрации Собора Святого Павла после лондонского пожара. Лондонцы стали издевательски называть дворец канцлера «Дюнкерк-хаузом», намекая на взятку, якобы полученную им от Франции за продажу Дюнкерка. Трудно судить, так ли это, но канцлеру продажи Дюнкерка не простили. В августе 1667 года в этом доме скончалась жена Кларендона Френсис. Судьба здания, которое называли красивейшим дворцом Лондона, печальна. После смерти Кларендона во Франции в 1674 году его наследники продали дворец сыну генерала Монка, второму герцогу Албемарлу, а тот, в свою очередь, подрядчикам. Здание снесли, на его месте проложили улицу.

В автобиографии, написанной во время второй эмиграции, Кларендон яростно защищался от всех обвинений. Он не простил себе только строительства этого дворца, назвав «единственным, чего стыдится». Стыдится «не только потому, что этот дом больше всего способствовал появлению потока зависти, жестоко обрушившегося на него», но потому, что он оказался в долгах, которые повисли на его детях. Хайд оправдывался тем, что нуждался в собственном удобном жилище, Вустер-хауз, за который он платил арендную плату, не устраивал его. Он оправдывался тем, что на строительство его воодушевил сам король, а архитектор, которому он доверился из-за собственной неопытности в этом деле, назвал втрое меньшую сумму издержек, чем та, которая вышла в конечном счете. Он оправдывался перед старшими сыновьями, предлагавшими ему продать дворец, чтобы расплатиться с долгами и обеспечить младших детей. Он не прислушался к ним и настоял на этом «предприятии, оказавшемся фатальным и разрушительным» [6, III, 453–458]. Признавая ошибку, Хайд, тем не менее, не разрешил сыну продать Кларендон-хауз, до конца надеясь вернуться в него.

Сразу после возвращения в 1660 году столичной резиденцией канцлера был сначала Дорсет-хауз (сгорел во время Большого пожара), но уже в июне 1660 года он получил предложение от Эдварда Сомерсета, второго маркиза Вустера, занять Вустер-хауз, находившийся в пользовании его жены, на безвозмездной основе. Канцлер согласился, в автобиографии он сообщил, что платил за аренду своего жилища ежегодно пятьсот фунтов. В Вустер-хаузе в сентябре 1660 года дочь Анна сочеталась тайным браком с братом короля. Там проходила конференция по религиозным вопросам с участием англиканских священников и нонконформистов, и заседания Тайного совета. Вокруг Кларендона всегда было множество просителей, которых Люсиль Хатчинсон с презрением назвала «тварями Вустер-хауза». Кларендон владел домом в предместье Лондона Твикенхэм, удобным для дел, когда Карл II находился в Хэмптон Корте или Виндзоре.