Но Карл знал, что все в этом мире имеет конец, в том числе и жизнь. В последние годы здоровье его сильно пошатнулось. Теперь он уже никогда больше не сможет выехать верхом впереди своих воинов — в золотых доспехах, на гнедом низкорослом испанском жеребце, с дротиком в руке, глядя на закаленных в боях военачальников, как Цезарь перед переходом Рубикона. Однако магнетической притягательной силы своей личности он тем не менее пока не потерял и продолжал удивлять иностранных посланников непостижимой загадочностью. В 1552 году английский посол Морисон заметил, что лицо императора не выражает абсолютно никаких эмоций. «В нем если что-либо и говорит, то лишь язык», — с сожалением писал Морисон, добавляя, что Карл, кажется, является воплощением библейской пословицы «До неба далеко, к центру земли глубоко, а королевское сердце непостижимо». С дипломатией Карл справлялся еще хорошо, но здоровье уже никуда не годилось. Его изводили частые простуды и лихорадки, что сильно отражалось на способности к красноречию. Порой Карл бывал вынужден на несколько дней погрузиться в молчание, а если и говорил, то настолько тихо, что его не могли слышать в другом конце комнаты. Выступающую нижнюю губу постоянно покрывали язвочки, и ему приходилось жевать травы, чтобы иметь во рту достаточно слюны, иначе он не мог говорить. И наконец, ревматическая подагра, из-за которой император уже многие годы хромал на обе ноги, теперь распространилась на все тело, так что ужасно болел каждый сустав и нерв. Когда боли появились в задней части шеи, доктора объявили, что болезнь достигла последней стадии, и больше не делали попыток лечить. Кроме того, его непрестанно мучил геморрой. В период частых обострений Карл не мог без «огромной боли и слез» даже повернуться в своем кресле.

В промежутках между приступами болезней император уединялся во внутренних покоях, где проводил время, строя игрушечные крепости, или в разговорах со своим шутом-поляком. Обществу придворных он предпочитал конюхов, а всю энергию направлял лишь на один вид деятельности: безостановочно устанавливать и заводить сотни принадлежавших ему часов. «Сейчас единственная забота императора, — писал один из приближенных Карла его сыну Филиппу, — это день и ночь подводить часы и следить, чтобы все они показывали одинаковое время. У него их много, и они занимают его больше всего». Император изобрел новый тип часов, которые следовало устанавливать на оконную раму, и был очень увлечен работой над своим детищем, его внешним видом и точностью хода. Он страдал бессонницей и любил по ночам созывать всех своих слуг в освещенную факелами рабочую комнату, чтобы те помогали ему разбирать, а затем собирать часы.