Императорский замок возвышается над площадью Santa Maria delle Carceri, расположенной примерно в 400 м южнее Соборной площади.
Императорский замок в Прато – единственный пример швабской архитектуры в северной части центральной Италии. Цитадель была построена сицилийским архитектором Риккардо да Лентини в 1237-48 годах по распоряжению императора Фридриха II. Предположительно, смерть Фридриха II (1250) не позволила завершить строительство внутренних помещений и построек.
Замок выстроен из белого известняка. Стены его увенчаны гибеллинскими зубцами – в форме так называемого ласточкиного хвоста. Сам Фридриха II никогда не бывал в Прато, но замок был резиденцией его наместника – викария Тосканы. Тем не менее, швабские львы – символ императора, высечены по сторонам портала, украшенного зелёным серпентином и белым известняком. Классический тимпан – реминисценция, напоминающая о мощи и власти римских императоров – цезарей. Из широкого внутреннего двора можно попасть в залы, расположенные в башнях. В настоящее время эти помещения используются для размещения художественных экспозиций, а сам замок нередко становится местом проведения различного рода культурных мероприятий.
В 14 веке флорентийское правительство использовало крепость в военных целях, а также – в качестве тюремных помещений. Тогда же замок был соединён с городскими крепостными стенами 14 века недалеко от Флорентийских ворот крытым двухуровневым переходом. По этому коридору флорентинцы могли проникать в город незаметно для жителей города. В 19-20 веках переход был разрушен, на его месте была проложена улица - viale Piave. В 2000 году была завершена реставрация некоторых участков старинного перехода. Сейчас эти помещения используются для проведения временных выставок.