Позднее улица, проходившая через дачу Лопухина, стала также называться Лопухинской (ныне улица Академика Павлова).

Далее дача принадлежала председателю Государственного Совета Виктору Павловичу Кочубею, затем главе Санкт-Петербургской лесной биржи Василию Федуловичу Громову. Именно для Громова архитектор Георгий Иванович Винтергальтер построил здесь двухэтажный загородный дачный дом. Архитектор и художник Алексей Максимович Горностаев возвёл несколько оранжерей. Здесь были устроены фонтаны, беседки, гроты, висячие мостики над прудами и протоками. Особенно интересен был «кавказский» мостик. Из трёх мостов ныне сохранилось два.

У пруда была выложена каменная терраса с лестницей.

Когда Лопухинским садом владел купец и меценат Василий Федулович Громов, это место называли «райским уголком». Страстный садовод Василий Громов, бывший одним из учредителей Российского общества садоводов, поручил перепланировку Лопухинского сада Евгению Одинцову. Одинцов, в 1860 году заступивший на пост главного садовника Санкт-Петербурга, был автором сквера на Исаакиевской площади.

Вид на Ботанический сад (Аптекарская набережная, Аптекарский проспект)

Здесь были устроены живописные гроты, висячие мостики над протоками, а на берегу пруда выстроили павильон для музыкантов. В Лопухинском саду играл оркестр Кавалергардского полка, итальянец Кавальярди показывал «опыты увеселительной физики и египетской магии», пели басы из московского хора цыган, выступали и артисты Мариинского театра. На даче Громова жили неимущие студенты консерватории, а всем посетителям его сада, по распоряжению радушного хозяина, подавались бесплатные ватрушки, бутерброды и предлагался «букет для дамы».

В 1849 году ближе к проспекту была построена вилла «Монплезир». На берегу пруда появился павильон для музыкантов.

После смерти Громова участок менял своих владельцев, но оставался в прежних границах.

Сад известен тем, что очень часто становился местом встреч, которые ну никак с точки зрения здравой логики не могли произойти. А вот здесь – случаются. Это удивительное свойство объясняют разными причинами. Начиная с того, что в Александровскую эпоху обитатели особняков чрезмерно увлекались спиритизмом и с тех пор по острову бродит несметное количество неприкаянных душ. И заканчивая тем, что всё натворили таинственные машины учёных мужей, которые любили поэкспериментировать в стенах Электротехнического института имени императора Александра III или в Институте экспериментальной медицины. Но ни одна из версий не является убедительной. И странные встречи, невзирая на поиски материалистических причин, продолжают происходить. Не исключено, что тут не обходится без «графского проказника».