Карл Иванович постоянно жил в столице, получил чин генерала и, выйдя в отставку с военной службы, больше нигде не служил. Он являлся членом одного из наиболее солидных петербургских клубов – Английского собрания – и часто бывал в нем, встречаясь там со своими друзьями и бывшими сослуживцами.

В 1839 г. умирает отец Карла Ивановича – Иван Львович Альбрехт – и сын становится владельцем еще одного участка на набережной Мойки (выше по ее течению), бывшего усадебного надела адмирала Синявина, купленного его дедом Л.И. Альбрехтом и перешедшего к его брату. Л.И. Бройтман в своих архивных поисках обнаружила Оценочный табель этого наследного участка, составленный в 1830-х гг., – описание огромного надела, «тянувшегося по набережной Мойки, Английскому проспекту и Офицерской улице, представлявшего к тому времени „пустопорожнее место“ с каменными и деревянными избами, занимавшее 6654 саж. кв.». Оценка его стоимости тогда составляла всего 9 тысяч рублей, в то время как участок Карла Ивановича (дом № 106), меньший по размерам, но с каменным домом, оценен в 28 тысяч рублей. Вступив во владение этим дополнительным участком адмирала Синявина на Мойке, генерал Карл Иванович Альбрехт разделил огромное по площади наследство своего отца на отдельные участки и удачно продал их по частям. На каждом из них позже построили великолепные здания, в том числе и дворец великого князя Александра Александровича (набережная реки Мойки, 122).

Летний период семья Альбрехта проводила до глубокой осени в своем имении, а пейзажный парк столичного особняка на Мойке рачительный Карл Иванович на лето сдавал Немецкому клубу. Петербургский историк и краевед Елена Игоревна Жерихова в своей книге о старинных усадьбах Санкт-Петербурга приводит любопытные воспоминания мемуаристки Е.Я. Головачевой (А. Панаевой) о ее летних детских прогулках в конце 1820-х гг. в усадебном парке К.И. Альбрехта: «С младшими дочерьми старика В.А. Самойлова я видалась в клубном Немецкому саду, который в летний сезон помещался на Мойке, близ Поцелуева моста, в доме разорившегося Альбрехта, выстроившего для себя дом с разными барскими затеями: с манежем, оранжереями и большим садом. Экономные распорядители Немецкого клуба за плату на все лето пускали детей гулять только до 7 часов вечера, потому что потом собирались члены клуба, играли в кегли и в карты». Довольно беззаботная жизнь К.И. Альбрехта в конечном итоге действительно привела его к разорению.

В 1848 г. К.И. Альбрехт, владевший более двадцати лет участком и домом № 106 продает свое владение статскому советнику обер-секретарю Сената Александру Карловичу Геллеру, прожившему в доме всего один год. После его скоропостижной смерти наследница – дочь Анна Александровна – продает особняк на Мойке № 106 25 мая 1856 г. в собственное владение княгине Марии Васильевне Воронцовой, урожденной княжне Трубецкой. В официальной купчей уточнялась ширина приобретенного участка вдоль набережной реки Мойки – 39 саженей и 2,5 аршина.