Какое-то время Генриетта устраивала скандалы мужу, взывая к его совести или же пытаясь спекулировать детьми, но на Филиппа ее истерики не действовали, он или смеялся над ней или был груб, и жизнь молодой женщины постепенно превращалась в кошмар. Филипп не любил ее. Но в то же время злился и бешено ревновал, если ему вдруг казалось, что она по-особенному посмотрела на какого-нибудь мужчину. Он не хотел ее. Но в то же время регулярно являлся в ее покои и исполнял свой супружеский долг, потому что ему нужен был наследник. Генриетта постоянно была в тягости, но в силу слабости здоровья часто беременности ее заканчивались выкидышами, да и из тех детей, которых ей удалось выносить, выжили только две дочери. Ее милый сыночек, счастье, радость и надежда Филипп-Шарль прожил всего три с половиной года, и умер от лихорадки. Общее горе на миг сблизило принцессу с мужем, в церкви во время отпевания они оба не могли сдержать слез, но после Филипп совершенно отдалился от Генриетты и злился на нее, будто это она была виновата в смерти ребенка. Жаловаться на Филиппа королю тоже не было особенного смысла, Людовик хорошо относился к своей невестке и часто действительно вступался за нее, но ничем хорошим это не заканчивалось. Братья ссорились, громко ругались, после чего король, кипя гневом, покидал Пале-Рояль и все шло по-старому, — Лоррен получал очередной подарок, а Генриетта лишалась и того малого, на что могла бы рассчитывать. К тому же, разругавшись с королем, Филипп неизменно устраивал скандал и своей жене, и тут дело не ограничивалось просто воплями и истериками, Филипп швырялся разными предметами, однажды в клочки изорвал скатерть, а под конец пригрозил Генриетте, что отправит ее в Англию.

Всякому терпению есть предел, взбешенная Генриетта отправилась в Лувр и рассказала об этой угрозе королю. Как раз в то время Людовик особенно нуждался в хороших отношениях с невесткой, она выступала посредником в тайных переговорах между ним и своим братом Карлом II, королем Английским, в деле подписания союзнического договора против голландцев. Гнусная выходка Филиппа привела короля в ярость. Генриетта воспользовалась моментом и заявила, что виной всем ее бедам шевалье де Лоррен, который строит против нее козни. Ко всему прочему, как раз в тот же день король узнал, что Филипп вознамерился подарить любимому фавориту богатейшее аббатство Сен-Бенуа, находившееся на его землях, и это было последней каплей. Или скажем так — это послужило поводом избавиться от де Лоррена.

Людовик запретил Филиппу разбазаривать имущество, тот по обыкновению своему, не собирался подчиняться, но, на сей раз, король проявил твердость. Филипп обиделся, хлопнул дверью и уехал в свой дворец, в ответ на это Людовик отправил в его дом гвардейцев, с целью арестовать надоевшего всем де Лоррена и препроводить его в крепость. Все было исполнено в точности, Лоррена можно сказать вытащили из постели принца и, взяв под стражу именем короля, увели в неизвестном направлении.