Следующей важной вехой в истории семьи Зильберов стало воцарение на российском престоле бывшей герцогини Курляндской Анны Иоанновны. Сложно сказать, какие именно заслуги тогдашнего представителя рода, Самуила Зильбера, выдающегося химика и врача, высоко оценила императрица: кто-то связывает это с внезапной смертью Петра II, на котором пресекся мужской род Романовых, другие считают, что придворный лекарь, имевший неявное, но существенное влияние в высшем обществе, помог Анне Иоанновне одержать победу над Верховным советом. Определенно известно лишь, что после коронации императрица присвоила Самуилу Зильберу звание первого лейб-медика, а по дороге из Москвы в Санкт-Петербург специально сделала изрядный круг по окрестностям, чтобы он мог выбрать себе место для будущего имения –  им оказались обширные земли мызы Мокрово неподалеку от города Анненбаум. Кстати, как свидетельствуют некоторые источники, лейб-медик Самуил Зильбер помогал Анне Иоанновне посадить тот самый прославленный дуб, который дал название городу.

Первая усадьба Зильберов, настоящий замок в стиле позднего Ренессанса, была построена в 1736 году. Влияние семьи росло, и при императрице Елизавете Петровне им был пожалован титул баронов, который в Российской империи присваивали людям недворянского происхождения, промышленникам и финансистам. Что характерно, Леонид Иванович Зильбер не стал возвращать приставку дворянского титула к своей фамилии, а вот его сын Аристарх, уже после смерти отца, полностью поменял все документы, как личные, так и связанные с деятельностью генерального директора в нескольких юридических лицах, чтобы прибавить к своей фамилии «фон».

В 80-х годах XVIII века Оскар фон Зильбер, первый лейб-медик Ее Императорского Величества Екатерины II, провел масштабную реконструкцию семейной усадьбы и отстроил ее в том величественном виде, в котором она сохранилась и по сей день. На южной террасе были установлены два каменных сфинкса, доставленных из храма неподалеку от руин древнего города Ахетатона, и фамильное имение Зильберов стало именоваться Усадьбой Сфинкса. Тот же Оскар фон Зильбер в 1786 году при поддержке императрицы основал в Санкт-Петербурге Гильдию Северной Зари, члены которой именовали себя русскими иллюминатами. На репродукции парадного портрета он решительно взирал вдаль, стоя у раскрытого стрельчатого окна, за которым открывался вид на горящий маяк, египетские пирамиды и сфинкса, похожий на картинку из туристического буклета. Его расшитый позолотой камзол пересекала широкая красная лента с крестом, на груди красовалась восьмиконечная большая звезда, а в руке был развернутый свиток.