Вскоре после родов Анна испытала величайшее унижение, потому что при дворе поползли слухи о том, будто бы отцом ее малютки был не Яков, а некий гвардейский капитан Чарлз Беркли, открыто похвалявшийся своим «отцовством». Дошло до того, что настоящий отец ребенка поверил в эти клеветнические измышления. Видя, в какой ярости пребывает супруг, несчастная женщина призвала епископа Винчестерского и в присутствии герцогини Ормондской поклялась, что никогда не изменяла Якову. Она буквально умирала от горя. Ее спасло дружеское участие короля: Карл поверил невестке и пообещал призвать виновника к ответу.
К счастью, дело обошлось и без этого: в Англию пришло печальное известие о смерти принцессы Оранской, скончавшейся от оспы. Перед кончиной она покаялась, что содействовала распространению клеветнических измышлений об Анне и что Беркли действовал по ее наущению. Уличенный во лжи капитан явился к Якову с повинной, заявив, что его неблаговидные поступки были продиктованы исключительно заботой о благополучии престолонаследника. Беркли якобы старался расстроить неравный брак герцога Йоркского и даже готов был сам жениться на Анне. Яков простил негодяя и помирился с женой. Помирился с Анной и ее отец, Эдвард Хайд, как раз в это время получивший титул графа Кларендона.
Из восьмерых детей, рожденных Анной Якову, в живых остались только две девочки, две будущие королевы – Мария и Анна. Семейную жизнь герцога и герцогини омрачали не только смерти детей, но и склонность Якова к флирту – в этом отношении он был точной копией своего царственного брата, и оба они достойно подтверждали родство с великим жизнелюбом Генрихом IV Французским, их дедом. Герцогине это не нравилось; когда ей становилось известно о появлении у мужа очередной пассии, она устраивала ему бурные сцены, но всякий раз вынуждена была смиряться перед неизбежностью.
Ревность герцогини стала предметом сплетен. Однажды дело дошло до того, что ее начали обвинять в причастности к убийству одной из фавориток Якова, некой Маргарет Денем, жены известного драматурга эпохи Реставрации Джона Денема.
Последние годы жизни Анну мучили сердечные приступы. Она была очень тучна, и ее дочери унаследовали от матери склонность к полноте, особенно Анна. Страх приближающейся смерти заставил герцогиню задуматься о душе, и понемногу она начала склоняться к католицизму. Ее духовным отцом стал францисканский монах Хант, уговоривший ее перейти в католическую веру. Под влиянием жены проникся симпатией к католицизму и Яков, что было особенно опасно, учитывая его близость к престолу и ненависть англичан к папизму.