Долгорукие вместе с молодым императором Петром II вскоре перебрались в свою любимую московскую вотчину, с радостью покинув ненавистный им Петербург и жалованный им Петром Великим огромный низменный участок набережной реки Мьи.
В течение более 150 лет огромный участок нынешнего дома № 122 на набережной Мойки пустовал, оставаясь незастроенным. Этот квартал старой Коломны, входящий в пределы 4-й Ад миралтейской части, официально был тогда причислен к «пустопорожним землям». Отдельные временные строения на нем были снесены сильнейшим наводнением 1824 г. После гибельной катастрофы участок формально принадлежал Придворному ведомству, устроившему на нем Запасной дровяной двор.
В середине XIX столетия этот обширный земельный низменный участок на набережной реки Мойки вновь начал активно застраиваться. Его территорию, разделенную на 3–4 смежных участка, стали осваивать новые владельцы. Во второй половине сороковых годов XIX в. здесь возводятся каменные особняки для церемониймейстера Андрея Ивановича Сабурова и генерал-майора Карла Ивановича Альбрехта, о котором уже подробно упоминалось в разделе этой книге, посвященном дому № 106 на набережной реки Мойки.
Напомним, что проматывающий огромное состояние генерал-майор довольно часто «залезал» в долги и поэтому ему пришлось даже разделить свой участок, оценивающийся довольно значительно, на несколько частей и постепенно продавать их.
В 40-х годах XIX столетия на другом пустопорожнем наделе городской архитектор Д.Е. Ефимов построил каменный усадебный дом для церемониймейстера Андрея Ивановича Сабурова. При утверждении его проекта оказалось, что кроме проекта каменного дома с флигелями на участке будут возведены также деревянные службы, разработанные архитектором в стиле итальянского ренессанса. При окончательном утверждении общего строительного проекта российский император Николай I «…в 14 день сентября высочайше соизволил утвердить проект на постройку церемониймейстером Сабуровым двух каменных домов и на постройку каменного же флигеля, но без деревянных для служб строений, кои в той части города более не дозволять строить вновь». Отметим, что легкомысленный план зодчего Д.Е. Ефимова, включившего в проект кроме каменных, деревянные строения, не только привел царя в состояние раздражения, но и заставил его тогда издать распоряжение на категорический запрет возведения впредь любых деревянных сооружений на территориях 2-й, 3-й и 4-й Адмиралтейских частей Санкт-Петербурга.
В соответствии с сохранившимися в делах Городской управы чертежами проекта усадебного дома А.И. Сабурова на набережной Мойки (ЦГИА СПб. Ф. 513. Оп. 102. Д. 3680. Л. 2–8) особняк тогда выглядел в виде протяженного, низкого одноэтажного строения в 15 осей, построенного в стиле итальянского ренессанса на цокольном этаже высотой в полтора человеческих роста.