Папский дворец, расположенный на площади Piazza San Lorenzo, является важнейшим памятником архитектуры и истории региона Лацио за пределами Рима. В Витербо на протяжении двадцати четырех лет с 1257 по 1281 годы находился папский престол, в связи с чем за ним закрепилось название «города пап». Решение папы Александра VI перенести римскую курию в Витербо было вызвано политическим конфликтом между папством и Священной Римской империей, с обострившейся борьбой гвельфов и гибеллинов. Тот факт, что выбор пал именно на Витербо, свидетельствует о высоком статусе этого города в Средние века.
Резиденция понтифика была устроена в епископском дворце, но поскольку он не отвечал потребностям нового обитателя, в 1257 году под руководством «капитана народа» Раньеро Гатти, принадлежащего к знатному витербскому роду, были начаты работы по расширению и переустройству дворца.
Справа от главного портала находится скромная калитка, ведущая на балкон лоджии. Лоджия была построена по поручению Андреа ди Беральдо Гатти, племянника Раньеро, занявшего его пост в 1267 году. По всей видимости, она была призвана заменить отсутствовавший здесь балкон, с которого папа мог бы благословлять верующих. Ажурная готическая лоджия отличается по стилю от тяжеловесного дворца, но при этом составляет с ним гармоничную архитектурную композицию. Сама лоджия при этом воплощает собой удивительный симбиоз готики и романского стиля: она состоит из семи стрельчатых трехлопастных арок, образованных наложенными друг на друга полуциркульными арками, украшенными трифолиями и квадрифолиями. Над аркадой находится фриз, на котором чередуется рельефное изображение витербского льва с гербом семьи Гатти (щит с четырьмя горизонтальными полосами). Еще выше помещены рельефные изображения орлов с расправленными крыльями, являющиеся имперским символом, чередующиеся опять же с гербом Гатти, а также изображение папских ключей.
Изначально аналогичная аркада находилась и с другой стороны лоджии, которая была перекрыта крышей, однако тонкие колонны не выдержали веса перекрытия, и в 1325 году крыша вместе с аркадой, выходящей на долину, обрушилась. Вторая аркада, выходящая на площадь, во избежание дальнейшего обрушения была замурована. В начале 20 столетия проводились обширные реставрационные работы, во время которых аркаде придали ее первоначальный облик и убрали пристройку второй половины 16 века, которая тянулась вдоль всего фасада дворца.
Лоджия покоится на большой арке, в центре которой расположена восьмигранная колонна, внутри нее находится цистерна с водой, питающая фонтан в лоджии. Фонтан украшают каменные головы животных и гербы Гатти, Сикста IV, епископа Висконти деи Сеттала и кардинала Рафаэля Галеотти Риарио.
Многочисленные помещения Папского дворца претерпели значительные изменения в последующие эпохи, и многие из них сейчас закрыты для публики. Наибольший же интерес представляет Зал конклава, где происходили важнейшие исторические события. Здесь были избраны пять пап: Урбан IV (29 августа 1261 года), Григорий X (1 сентября 1271 года), Иоанн XXI (17 сентября 1276 года), Николай III (25 ноября 1277 года) и Мартин IV (22 февраля 1281 года).
Термин «конклав» (от лат. cum clave – «под ключом») возник именно в Витербо в связи с самыми долгими в истории выборами папы, длившимися 33 месяца и 1 день. В 1268 году необходимо было выбрать преемника Урбана IV, и разделенные на две враждующие группировки кардиналы не могли придти к согласию в выборе папы итальянского или французского происхождения. Спустя несколько месяцев правитель города Коррадо ди Альвиано начал торопить кардиналов с принятием решения, но в ответ лишь был отлучен от церкви. Его преемник Раньеро Гатти перешел к более решительным действиям: закрыл городские ворота и приказал, чтобы кардиналов заперли на ключ в Папском дворце. На дальнейшее упорство кардиналов витербские власти ответили еще более жестким шагом: с Папского дворца была сорвана крыша, продовольственное снабжение было лимитировано. На полу Зала конклава до сих пор видны дыры от штыков, на которых кардиналы растягивали тенты, чтобы укрыться от непогоды. В таких условиях в скором времени был избран новый папа – Григорий X, утвердивший подобный порядок избрания пап на Втором Лионском соборе 1274 года.