Джордж Вашингтон Вандербильт был первым владельцем и, наряду с Ричардом Моррисом Хантом и Фредериком Лоу Олмстедом, одним из создателей Билтмора. Персонаж Эмили Вандербильт Слоан основан на личности одной из его племянниц, которая, как и ее дядя, стала известным филантропом.

Несмотря на то что теперь он практически забыт, Мэдисон Грант был вполне известен среди сторонников евгенистического движения в конце XIX — начале ХХ в., а также прослыл борцом за защиту дикой природы. Свидетельств, что он на самом деле посещал Билтмор, не существует, но он был знаком с семьей Вандербильт, некоторые члены которой спонсировали его проект зоопарка Бронкса, и по возрасту был близок к Джорджу Вандербильту. Они разделяли интерес к охране природы, и у них были общие друзья в Нью-Йорке, включая Теодора Рузвельта. Так же, как в романе, усилия Гранта по охране природы внесли свой вклад в создание национальных парков и спасение американских бизонов; прочее его наследие составляли необычайно токсичные взгляды на расовое превосходство, что впоследствии послужило топливом для холокоста. Во время действия романа, 1895–1896-е годы, Грант также был известен в определенных кругах своими кутежами, хотя публичное его реноме составляла ведущая позиция в области охраны природы. Тогда же он начал формулировать теоретические основы идеологии превосходства белой расы, вошедшие в его книгу 1916 года издания, «Закат великой расы», которая была переведена на немецкий и стала одной из моделей тезисов о расовой чистоте, принятых Третьим рейхом. Еще до Второй мировой войны Адольф Гитлер написал Гранту восторженное письмо, в котором называл его книгу «своей библией».

Некоторые персонажи из служащих в Билтморе также списаны с реальных людей. В самом начале главным конюхом Билтмора был итальянец, и, хотя Сальваторе Катафальмо и его вклад в архитектурные планы Билтмора выдуманы, его фамилия заимствована из семьи мужа автора. К сожалению, эпизоды нападения на итальянцев в Новом Орлеане в 1890–1891-х годах являются исторической правдой, но роль Мориса Бартелеми как их инициатора — чистый продукт авторского воображения (основанный на факте, что некоторые торговцы действительно выиграли, когда итальянскую общину обвинили в смерти начальника полиции). Так же, как и в романе, главный повар Билтмора был французом, а другие служащие — включая лесника Карла Шенка и управляющего Чарльза МакНейми — существовали на самом деле. Первой известной домоправительницей Билтмора, проработавшей на этом месте долгие годы, была англичанка по имени Эмили Кинг, но, поскольку она начала свою службу в 1897 году, автор придумала миссис Смит.