Семен Семенович был женат на дочери другого богача – Павла Демидова и княгини Елены Трубецкой – Марии Павловне Демидовой, унаследовавшей от родителей титул княгини Сан-Донато. Это была умная, красивая и блестяще образованная женщина, да к тому же еще и балерина. Именно для нее Абамелек-Лазарев отделал и перестроил некоторые здания, превратив их в роскошные салоны с люстрами из венецианского стекла мурано, колоннами из редчайших пород мрамора, украшенные картинами и скульптурами своей огромной коллекции.
Чету Абамелек связывала тесная дружба с Татьяной Сухотиной-Толстой, любимой дочерью Льва Николаевича. Князь был лично знаком с Толстым, часто бывал у него в Ясной Поляне. С приходом летней жары Абамелек вместе с женой переезжали из душного Рима на другую свою виллу Пратолино с тенистым парком близ Флоренции. В 1916 году князь скоропостижно скончался и был похоронен на Армянском Смоленском кладбище в Петербурге.
Согласно завещанию, после смерти жены вилла в Риме должна была перейти в собственность Российской академии художеств. Там должны были устроить пансион для художников и скульпторов. В документе особо отмечалось, что она должна носить название «Вилла Абамелек» (кстати, именно так она и называется на всех картах Рима и сегодня), «деревья и кусты не должны вырубаться, а предметы изобразительного искусства и древности не увозиться из виллы».
Однако итальянцы (вскоре на Апеннинах пришел к власти Муссолини) не признали завещание. С 1923 по 1941 гг. Народный комиссариат иностранных дел СССР безуспешно вел судебный процесс. Однако, когда фашизм рухнул, по решению военных властей Союзной контрольной комиссии на вилле Абамелек разместился клуб советских офицеров. Позднее она перешла в собственность СССР, завещание князя было признано действительным. Немалую роль тогда сыграл в этом лидер итальянских коммунистов Пальми-ро Тольятти, недолго занимавший пост министра юстиции.
Сразу после на вилле разместились дипломаты посольства СССР, были построено несколько жилых корпусов. Там проводятся приемы и расположена личная резиденция посла.
Однако, выполняя завещание князя, на вилле останавливаются художники, скульпторы, деятели искусства, приезжающие в столицу Италии. Живут они в специально оборудованном для этого «Домике Гарибальди». Недавно на территории виллы Абамелек был построен православный собор Святой Великомученицы Екатерины. Ватикан против этого не возражал, выдвинув только одно условие – чтобы крест на его куполе был не выше, чем крест на соборе Святого Петра, расположенного по соседству.