Замок святого Петра находится на вершине горы святого Петра (Cerro de San Pedro) в древнем центре города. В начале 18 века в замке жил Хуан Алонсо Перес де Гусман и Осорио. От его брака с Хуаной де Сандоваль в этом замке родилась будущая королева Португалии Луиса Франсиска де Гусман. Тогда замок, стоящая рядом церковь и одноименная площадь были центром города, но, когда они переехали в другой дворец, место пришло в некоторое запустение. На старинных гербах города есть изображение строящегося замка святого Петра, так как в 18 веке он играл большую градостроительную роль.
В настоящее время от замка сохранилась только часть. Замок серьёзно пострадал во время землетрясения 1755 года и во время бомбардировки французской армии в 1808 году. Недавно были обнаружены оборонительные укрепления, которые, вероятно, были связаны с замком.