Замок приоров, который также называют Замок Манфреда (Castello di Manfredi) или просто Замок Беневенто, находится в самой высокой, восточной, части исторического центра на Замковой площади (Piazza Castello) и площади 4 ноября (Piazza 4 Novembre). Замок расположен в 700 м к юго-востоку от кафедрального собора, откуда к нему ведет проспект Джузеппе Гарибальди (Corso Giuseppe Garibaldi).
На этой территории первая укрепленная крепость самнитов возникла еще в 8-7 веке до нашей эры, при римлянах здесь были устроены термы. Лангобарды вновь использовали столь удачное расположение холма в военных целях: в 771 году для герцога Арехиса II возводится замок с башнями, восточная сторона которого становится частью крепостных стен. Рядом – основные городские ворота Порта Сомма, а с западной стороны к замку примыкает женский бенедиктинский монастырь Девы Марии. В 11 веке, после присоединения Беневенто к Папской области, замок значительно расширен и укреплен, частью его становятся римский акведук и строения монастыря. В последующие века здание почти не используется, но в 1321 году папа Иоанн XII поручает приору Беневенто реконструировать замок и превратить его в резиденцию папских приоров (наместников). Здание окончательно поглощает монастырь и даже Порта Сомма, к крепости пристроен дворец, а с городом замок соединяют три подъемных моста. С 1586 года замок превращен в тюрьму, которой оставался до 1865 года.
Сейчас во дворце расположена администрация провинции Беневенто, а в башне замка – исторический отдел Музея Самния. В прилегающем саду (с юго-восточной стороны) можно увидеть вехи с дороги Траяна и другие монументы римской эпохи с площади Largo Feoli. Также в саду выставляется современная скульптура.