Дом вскоре приобрел купец 3-й гильдии Иван Иванович Фрост, известный мастер петербургской кожевенной фабрики. Заметим, что приведенная в газетном объявлении квартальная столичная нумерация дома № 106 в год его продажи соответствовала утвержденному Табелю 1804 г. Промышленный предприниматель И.И. Фрост владел новоприобретенной недвижимостью вплоть до 1827 г.
2 августа 1827 г. в Петербурге оформляется уже новая официальная купчая на этот особняк на имя генерал-майора Карла Ивановича Альбрехта, ставшего тогда «владельцем одноэтажного жилого особняка, построенного в классическом стиле и расположенного в глубине участка с небольшим садом». Согласно атласу полковника Н.И. Цылова, «… дом имел протяженность в 25 сажень, одиннадцать окон по фасаду с шестиколонным портиком тосканского ордера, широкой террасой в центре и двумя лестничными маршами по обеим сторонам террасы».
Карл Иванович Альбрехт (1789–1859) являлся одним из сыновей полковника в отставке Ивана Львовича Альбрехта (1757–1839), предводителя дворянства Ямбургского уезда, женатого на дочери лейб-медика Императорского двора Карла Круза-Эрмине. Как и его братья, Карл Иванович рано начал военную службу, участвовал во многих кровопролитных сражениях с французами, прошел горнило войны 1812 г. и завершил ее полковником лейб-гвардии Гусарского полка. В 1819 г. К.И. Альбрехт женится на Варваре Сергеевне Яковлевой, дочери Сергея Саввича, унаследовавшего от своего батюшки уральские заводы, земли и дома в Санкт-Петербурге. Удачная женитьба Карла Ивановича увеличила состояние семейства молодоженов, и Альбрехты приступили к капитальной перестройке купленной усадьбы на Мойке. Дом перестраивал зодчий И.И. Мельников.
После капитальных перестроечных работ на месте ранее существовавшего дома на набережной Мойки теперь солидно смотрелся каменный особняк в девять осей на высоком подвале, с мезонином в три окна и треугольным фронтоном. Мезонин украшали дорические пилястры. Барельеф в тимпане фронтона изображал герб в окружении знамен. Крышу по-старомодному окружала балюстрада с вазами, фланкированная женскими фигурами. Окна нижнего этажа украшали замковые камни с львиными масками. Центральные окна бельэтажа и мезонина выходили на обустроенные балконы с изящными решетками. На террасу особняка вела каменная лестница из сада в два марша, украшенная изваяниями грифонов и треножниками светильников-жертвенников. С юго-запада к дому примыкал красивый пейзажный парк с аллеями и цветочными клумбами.