Башня Гевара находится в 300 м юго-восточнее дворца Кафедрального собора. Башня являлась частью замка, ныне практически не сохранившегося. Скорее всего, замок был возведен ранее 1000 года при лангобардах и принадлежал разным феодалам, в разное время правившим в Потенце. В 1626 последние владельцы замка – феодалы Карл Лоффредо и Беатриче Гевара – передали здание капуцинскому монашескому ордену святого Антония. Монахи использовали здание как госпиталь, а также построили капеллу святого Карла. Возможно, в честь святого Карла Борромео, который почитается в католической церкви как неустанный помощник больным (поскольку при жизни помогал больным в 1576 году при эпидемии чумы в Милане) или в честь Карла Анжуйского, сына Беатриче Гевара.
Замок принадлежал братии монастыря вплоть до 1810 года, однако после декрета короля Обеих Сицилий Иоахима Мюрата он перешел государству и стал использоваться как больница и госпиталь, в связи с чем здание было переделано изнутри. В 1935 году здание перешло в собственность провинции, а заброшенный замок стал убежищем для беженцев и иммигрантов. В середине 20 века замок снесли, однако Инспекция по охране исторических памятников разрешила сохранить башню Гевара.
В 1980 году башня серьезно пострадала от землетрясения, однако её удалось отреставрировать. Сейчас в башне Гевара находится художественная галерея.