Начиная с 1817 г. его сотрудники в банкирской конторе стали отмечать появившуюся у шефа невиданную ранее неаккуратность в делах. По воспоминаниям сослуживцев, их начальника «теперь раздражала необходимость скрупулезно следить за расчетами. Многие дела теперь постоянно откладывались, запутывались и подолгу оставались незакрытыми». Заграничные банкирские дома устали от его регулярной необязательности в делах. У Ралля постепенно появляются долги, отравляющие ему жизнь и ухудшающие настроение. Пытаясь спасти создавшееся положение и избавиться от нарастающих долгов, он начинает постепенно распродавать свое имущество, закладывать недвижимость и тем самым только больше запутывает и осложняет ситуацию.

В 1811 г. министр просвещения граф Алексей Разумовский предложил Александру I, в зачет долгов барона Ралля, приобрести его огромный участок и дом на набережной Мойки, 108, против Новой Голландии для возведения на его месте Педагогического института. Исполнению намерения тогда помешала Отечественная война 1812 г.

В ноябре 1813 г. Разумовский вновь обратился к царю с тем же предложением, довольно убедительно обосновывая свой проект: «Дом бывший Нарышкина, а ныне барону Раллю принадлежащий, на Мойке, против Новой Голландии по отдаленности от шуму городского, составил бы некоторой род, так сказать, монастырского порядка, крайне нужного как для внутренней полиции столь многолюдного заведения, так и для соблюдения чистой нравственности в молодых студентах, чего в нынешнем институте исполнить никак невозможно».

Кроме подобных «немаловажных» преимуществ автор проекта граф Алексей Разумовский полагал, что «на большой территории участка имеются возможности обустроить все принадлежащие нужные части, как-то: Ботанический сад, химическую лабораторию и проч.». Однако это второе обращение к императору Александру I тоже осталось нереализованным. Но через двадцать лет дом барона А.А. Ралля на набережной реки Мойки был все же куплен на городском аукционе, где продавалась вся недвижимость разорившегося банкира, но для того, чтобы организовать на бывшем усадебном участке «Демидовский дом призрения трудящихся».

Вначале придворный банкир расплачивался со своими кредиторами объектами своей недвижимости: домами, дачами и промышленными предприятиями, продолжая беспечно вести прежний образ жизни. Даже в самые критические периоды своего банкротства барон Ралль не прекращал устраивать в своем саду (бывшем Нарышкинском) летом веселые публичные народные развлечения, восторженно описываемые столичной прессой.