Епископский дворец находится на площади Пия II, к востоку от Кафедрального собора и напротив дворца Пикколомини.
Папа Пий II даровал старый готический дворец своему приближенному кардиналу Родриго Борджиа (будущий папа Александр VI), который преобразовал его в свою резиденцию. Реконструкция свелась к надстройке одного этажа, замене готических окон на окна в форме гвельфского креста, добавлению элегантного портала из травертина и маленького внутреннего двора. На углу дома был помещен герб семьи Борджиа.
В одиннадцати залах дворца представлено одно из самых ценных собраний произведений сиенской школы живописи (Пьетро Лоренцетти, Веккьетта, Лука Синьорелли, Фра Бартоломео и т.д.), фламандские гобелены 15 и 16 веков, иллюминированные кодексы, изделия из серебра, а также необычная риза папы Пия II, созданная английскими мастерами.