Уильям Гаррис, теперь уже полностью удостоверившись в существенно нездоровой атмосфере своего жилища, принял меры к переезду, предполагая в дальнейшем заколотить дом насовсем. Сняв на время комнаты для себя и жены в недавно открывшейся гостинице Золотой шар, он принялся хлопотать о постройке нового, более приличного дома на Вестминстер-стрит, в строящемся районе города за Большим мостом. Именно там в 1785 году появился на свет его сын Дьюти, и там семья благополучно проживала до тех пор, пока посягательства со стороны коммерции не вынудили ее вернуться на другой берег реки на Энджел-стрит, пролегавшую по ту сторону холма; в новый жилой район Ист-Сайд, туда, где в 1876 году ныне покойный Арчер Гаррис построил себе пышный, но безвкусный особняк с мансардной крышей. Уильям и Фиби скончались в 1797 году во время эпидемии желтой лихорадки, и Дьюти был взят на воспитание своим кузеном Рэтбоуном Гаррисом, сыном Пелега.

Рэтбоун был человеком практичным и сдавал дом на Бенефит-стрит внаем, несмотря на нежелание Уильяма, чтобы там кто-нибудь жил. Он полагал, что его святой долг перед подопечным заключается в том, чтобы собственность последнего приносила как можно больше доходу; при этом его немало не тревожили ни смерти и заболевания, в результате которых жильцы сменяли друг друга с быстротой молнии, ни все растущая враждебность к дому со стороны горожан. Вероятно, он ощутил лишь легкую досаду, когда в 1804 году муниципалитет распорядился, чтобы территория дома была окурена серой и смолой. Причиной для такого решения со стороны городских властей послужили возбудившие немало досужих толков четыре смерти, вызванные, предположительно, уже сходившей в то время на нет эпидемией лихорадки. Ходил слух, в частности, будто от дома пахнет лихорадкой.

Что касается самого Дьюти, судьба дома мало его беспокоила, поскольку, достигнув совершеннолетия, он стал моряком и в войну 1812 года с отличием служил на капере Бдительный под началом капитана Кэхуна. Воротясь целым и невредимым, в 1814 году он женился и вскоре стал отцом. Последнее событие произошло в ту достопамятную ночь на 23 сентября 1815 году, когда случился страшный шторм и воды залива затопили полгорода; при этом целый шлюп доплыл аж до Вестминстер-стрит, и мачты его едва не колотились в окна Гаррисов как бы в символическое подтверждение тому, что новорожденный мальчик по имени Желанный сын моряка. Желанный не пережил своего отца: он пал смертью храбрых в сражении под Фредриксбургом в 1862 году. Ни он, ни сын его Арчер почти ничего не знали о страшном доме, помимо того, что это какое-то совершенно ненужное бремя, которое почти невозможно сдать внаем быть может, по причине его дряхлости и затхлости, свойственной всякой старческой неопрятности. В самом деле, дом ни разу не удалось сдать внаем после целого ряда смертей, последняя из которых случилась в 1861 году и которые за всеми треволнениями, вызванными начавшейся войной, были преданы забвению. Кэррингтон Гаррис, последний из рода по мужской линии, относился к дому как к заброшенному и до некоторой степени живописному объекту преданий, но лишь до той поры, пока я не поведал ему о своем эксперименте. И если прежде он намеревался сравнять особняк с землей и построить на его месте многоквартирный дом, то после беседы со мной решил оставить его на месте, провести в него водопровод и впустить жильцов. Так он и сделал и не имел никаких затруднений. Кошмар навсегда оставил дом.