Самыми трагичными для города являются 1688 г. и 1693 г., когда в ходе войны за Пфальцское наследство войска французского короля Людовика XIV занимают Гейдельберг, нанося ему сильные разрушения, а при отступлении сжигают замок, превращая его в руины. После этого предпринимались попытки восстановления замка, однако у пфальцграфов не хватало на это средств. Ситуацию усугубил конфликт курфюрста Карла III Филиппа с протестантским населением, в результате которого он перенес свою столицу из Гейдельберга в Маннхайм, а замку вновь не повезло – удар молнии в 1764 г. окончательно его разрушил. Восстановление замка началось лишь в 19 в., и к настоящему моменту восстановлены отдельные дворцы.
Крутой подъем в гору ведет из города к замку, построенному, как и многие другие здания Гейдельберга, из местного розового песчаника. Преодолев сводчатую каменную галерею, оказываешься на внешней террасе, ранее окруженной массивной стеной с мощными круглыми башнями и бастионами. Комплекс зданий замка, построенных в разное время, выстроился вокруг четырехугольного внутреннего двора, на противоположной от входа с террасы стороне которого высится квадратная надвратная башня с часами. По-соседству с ней чернеют руины древнейшего сооружения замка, дворца первого короля
Пфальца Рупрехта. Стены здания прорезаны большими полукруглыми окнами, над которыми идут 2 ряда двухчастных небольших окошек. Внешний фасад дворца был обращен на крепостной ров, но потом обрушился, открыв стены замковых внутренних помещений. Между руинами дворца Рупрехта и одноэтажным дворцом Женской половины позже было построено четырехэтажное здание библиотеки, цвингер, выдвинутый наружу и занимающий пространство между двумя линиями укреплений. Его фасад с редкими небольшими окнами на высоте четвертого этажа украшает крытый эркер.
Напротив дворца Рупрехта, на южной стороне двора, возведено несколько ренессансных построек. Двухэтажное здание Бруненхалле с открытой внизу галереей полукруглых арок на тонких колоннах, раньше скрывало хозяйственные постройки. На восточной стороне двора, между хозяйственными постройками и зданием Зеркального дворца построен самый красивый в замке дворец Отто-Генриха. Три его этажа, разделенные выступающими карнизами, оживляют двухчастные прямоугольные окна с треугольными фронтонами с лепными картушами. Окна делит на две части косяк, украшенный гермой. Между окнами в обрамлении каннелированных пилястр чередуются ниши со скульптурами античных богов, героев Ветхого завета и аллегориями добродетелей. Трехэтажное здание Зеркального дворца с полукруглой башней у бокового фасада несет три открытые арочные галереи полукруглых арок разной высоты.