Их брак оказался несчастливым: религиозная и высоконравственная Виктория совершенно не разделяла научных интересов своего мужа, ей абсолютно не нравился тот образ жизни, который вел великий герцог. Он был веселым и легким в общении человеком с разносторонними интересами, галантным кавалером с тонким чувством юмора. Фердинанд любил завязывать любовные интрижки, но не с хорошенькими женщинами, а со своими молодыми и красивыми пажами. У него были обнаружены гомосексуальные наклонности, которые не замечали или не хотели замечать его мать и бабушка.

Рассказывают такую историю: однажды его мать Мария Магдалина принесла ему длинный список советников и придворных, которые были замечены в содомии. Она положила перечень перед ним и спросила, что герцог намеревается с этим делать. Фердинанд внимательно прочитал список и заметил, что там не хватает одного имени. Герцогиня спросила: «Какое?» Тогда Фердинанд взял перо и добавил в конце перечня свое собственное имя. Мария Магдалина не смутилась: она решила, что у ее сына слишком доброе сердце, и таким образом он хочет защитить своих подданных. На ее повторный вопрос о том, что же он собирается предпринять, Фердинанд ответил встречным вопросом: «А что бы вы предприняли, матушка?» Герцогиня ответила, что подобные извращенцы заслуживают только смертной казни путем сожжения живьем на костре. Фердинанд взял список, бросил его в огонь камина и сказал: «Ваша воля выполнена, государыня».

Первые несколько лет супружеской жизни Фердинанд исправно старался выполнить свой супружеский долг с целью произвести на свет наследника престола. К несчастью, Виктории очень трудно давались роды, несмотря на пышную фигуру с широкими бедрами. В 1639 году она родила сына Козимо, который умер через два дня. Следующей родилась дочь, которая умерла сразу же после рождения, ей даже имени дать не успели. Надпись на ее маленькой могиле в капелле герцогов переводится с латыни: «Тот, кто читает, пусть не спрашивает моего имени. Я была дочерью великого герцога Тосканы. Крещеная после вступления в жизнь, я сразу же счастливо искала пути небесные». Наконец, в 1642 году, после долгих и тяжелых родов, появился на свет их второй сын Козимо. Он выжил и стал наследником престола, а затем и шестым, предпоследним герцогом Тосканы из рода Медичи под именем Козимо III.

Вскоре после этого Виктория случайно застала мужа в постели с его молодым любовником, пажом Бруто делла Молара, и прекратила с ним отношения. Она часто уезжала на виллу в Поджо-а-Кайано, жила с мужем врозь и занималась воспитанием сына. Весь в отца, мягкий и слабохарактерный, Фердинанд Медичи сначала был под каблуком своей матери и бабушки, а после их смерти оказался под сильным влиянием своей властной жены. Он хотел дать сыну современное светское образование и обучать его наукам, но Виктория настояла на религиозном воспитании и в этом победила. После долгих ссор и споров герцог махнул рукой и позволил жене воспитывать сына так, как она сама считает нужным. Для Фердинанда было важнее всего, чтобы не было скандалов, которые он не переносил.