Башня Кастилле расположена на севере старого города, в 300 м к западу от собора.
Это историческое здание, служившее в свое время проездной башней с городскими воротами и тюрьмой, в настоящее время служит обиталищем Музея каталонского искусства и народных традиций (Musée Catalan des Arts et Traditions Populaires), он же La Casa Pairal.
Памятник состоит из двух частей — Большого (Grand Castillet) и Маленького (Petite Castillet) Кастилле. Большой Кастилле был построен около 1368 года по приказу инфанта дона Хуана Арагонского для замены устаревших с военной точки зрения городских ворот. Новое сооружение включало подъемный мост, до наших дней не сохранившийся. Массивные стены башни могли противостоять любой атаке с севера — опасной французской границы. Когда при Людовике XI Перпиньян стал частью территории Франции, крепость стала ненужной, и ее превратили в государственную тюрьму: мост снесли, окна забрали решетками. Однако поскольку выездные ворота все еще требовались, рядом в 1478 возвели Маленький Кастилле, который не стали укреплять настолько сильно. В его стене устроена ниша с установленной статуей Девы, и ворота по ней получили название porte Notre-dame. Любопытно, что в 1948 году здесь была сделана интригующая находка: когда одно из окон слева от статуи было размуровано, там был обнаружен скелет ребенка эпохи Людовика XVI. Кто этот мальчик, и почему его тело оказалось в стене — неизвестно, хотя различные конспирологические легенды приписывают ему чуть ли не королевскую кровь.
Во время эскалации конфликта с Испанией общая линия обороны Перпиньяна была усилена, и Кастилле стал важной ее частью. Эти укрепления были разрушены в 1904 году, однако башни были сохранены.