Жаки настаивала, что они встречались только «в рамках строгих правил светской жизни». Луи отказался выслушать ее, и она уехала в Будапешт. «Она живет в санатории в Свабхеги», – сообщала венгерская пресса в апреле, отмечая, что дама редко показывалась на публике. «Иногда она просит шофера отвезти ее в город на своей машине, чтобы навестить нескольких друзей. Оставшееся время она живет в уединении и ждет окончания процесса развода».
Сюзанн, сестра Луи, убедила его дать Жаки еще один шанс. Она сама страдала от несчастливого брака. Ее муж Жак Ворт открыто встречался с другой женщиной, но она осталась с ним – ради четверых детей и католической веры. «Бог, может быть, и не благословил меня совершенным мужем, – писала она братьям, – но одарил тремя замечательными братьями». Однако Луи очень отличался от своей сестры. Несмотря на то что сам он не был святым, мысль о том, что жена могла встречаться с видным членом общества, казалась крайне унизительной. Он отказался отступать. Луи «настаивает на разводе», телеграфировал Жак Пьеру. «Просит меня не вмешиваться, так как чувствует уверенность, что жена примет условия, если не получит поддержки. Анна-Мари, ПанПан [Туссен], Деде пытались изменить его мнение».
Даже мольбы Жанны Туссен, которая полюбила графиню и недавно сама влюбилась во французского барона, не смогли его переубедить. Семья старалась держать новость в секрете, но вскоре поползли слухи. К лету 1934 года в прессе уже вовсю кипела работа. «Двенадцать лет назад гордая графиня Алмаши вышла замуж за «короля драгоценностей». В Будапеште никто не удивится, если она снова выйдет замуж за царственную персону. Но на этот раз – за настоящего короля, хотя и бывшего, обладателя голубой крови».
Однако к осени 1934 года Луи, к удивлению братьев и сестер, передумал и решил воссоединиться с Жаки. Их девятилетний сын Клод был ужасно расстроен разлукой родителей, отчасти его мольбы убедили отца вернуться домой. «Я только что узнала о возвращении Луи к жене, – писала Сюзанн в октябре 1934 года. – В августе мне показалось, что Луи так решительно настроен на развод, что я этого не ожидала, но, несомненно, это произошло благодаря вмешательству сына. Чего только не сделаешь ради детей! Я надеюсь, что он будет вознагражден за свою снисходительность». Луи, верный обещанию, которое он дал Клоду, воссоединенился с Жаки. У него было достаточно проблем на работе, хотелось сохранить стабильность в семейной жизни. Положение во Франции становилось все хуже. Он был нужен Рю де ла Пэ.