Самое впечатляющее сооружение Авиньона – папский Большой дворец, который сейчас является самым большим готическим средневековым замком в мире. Благодаря ему Авиньон по праву окажется интересен истинному ценителю европейской фортификации и поразит масштабом работ, выполненных древними каменщиками. Большой дворец, состоящий из Старого и Нового дворца, строился с 1334 г. на протяжении почти 30 лет. Его строительство продолжалось с перерывами, вызванными сменой пап на престоле, поэтому и произошло это разделение различных частей замка на старые и новые помещения. Высокие стены дворца, вырастающие из скалы, возвышающейся над Роной, прорезанные небольшими узкими окнами, доминируют над всем городом. Стены расчерчены высокими полукруглыми арками, ритм которых нарушает их однообразие, и усилены мощными прямоугольными контрфорсами.
Старый дворец имеет в плане форму неправильного четырехугольника, окружающего клуатр. С одной стороны его замыкает капелла Бенедикта XII с двумя высокими квадратными башнями, к которой пристроены еще три крыла увенчанного зубчатым парапетом с машикулями Нового дворца, образующие большой внутренний двор, окруженный двухъярусной арочной галереей с террасой наверху. К капелле Бенедикта XII в Старом дворце примыкает крыло Консистории, которая была Высшим советом и трибуналом при папском дворе. Внутри расположен огромный зал с плоским балочным потолком, стены которого укрыты гобеленами. С двух сторон двери ведут в маленькие помещения, кухню с высоким конусом вытяжки и капеллу св. Жана со сводчатым потолком, расписанным фресками Маттео Джованетти. Два остальных крыла Старого дворца занимают залы Конклава и крыло Фамилий.
Главный фасад Нового дворца, обращенный на центральную городскую площадь, фланкирован двумя широкими четырехугольными башнями, стены приоткрывает глухая стрельчатая аркада, в одной из арок которой расположился вход во дворец, фланкированный двумя навесными круглыми башенками с высокими шпилями. Это крыло занимает Малый аудиенц-зал и комнаты нотариусов. Огромный зал Большой капеллы, стены которого прорезаны высокими стрельчатыми окнами, а сводчатый потолок поддерживают стрельчатые подпружные арки с пучками колонн, стоящими вдоль стен, занимает отдельное крыло Нового дворца. Фасад здания капеллы, обращенный в противоположную от центральной площади сторону, фланкирован двумя четырехугольными башнями – св. Лаврентия и Папской или Ангела. Под капеллой расположился Большой аудиенц-зал, который делит на два нефа ряд из 5 пилонов, составленных из пучков колонн, поддерживающих сводчатый потолок. От пилонов отходят нервюры, пересекающиеся на потолке и консольно завершающиеся на середине противоположной стены. Раньше стены и своды здесь были расписаны фресками, сейчас остался лишь фрагмент живописи на своде. Из капеллы папа мог выйти на лестницу, на площадке которой находилось самое большое дворцовое окно, «Окно отпущения грехов». После интронизации нового папы, которая проходила в зале перед Большой капеллой, он выходил на лоджию Благословения и благословлял толпу, собравшуюся у ее подножия во внутреннем дворе, а высокопоставленные гости могли подняться к папе по широкой церемониальной лестнице.