Маленький замок святого Карлоса, расположенный напротив торгового центра «Порто Пи», уже пять столетий стоит на защите порта Пальмы. Исторически бухта Пальмы была важной точкой в средиземноморской торговле романского периода. В Средние века, с увеличением торговой активности появилась и угроза пиратских налетов. Для защиты морских путей король Филипп III Испанский в 1600 году приказал построить крепость у порта. Строительство, финансирование которого было поделено между бюджетом монархии и торговой коллегией, началось в 1610 году и закончилось в 1612 году. Изначально форт был назван замком Порто Пи, но вскоре получил свое теперешнее имя в честь вице-короля Майорки Карлоса Коломы. В 1662-63 годах прямоугольный в плане замок, вмещающий на тот момент только 5-6 пушек, был расширен при участии инженера Висенте Мута. Кроме того, в войну за испанское наследство он был дополнительно укреплен со стороны моря. В конце 19 века замок ремонтируется, технически оснащается, с западной стороны роется дамба.
Ядро замка представляет собой 22-метровый квадрат с 4 угловыми башнями. Крепостные стены с хозяйственными постройками по периметру образуют широкий оружейный двор в форме трапеции. По углам расположены равелины. Южный фасад форта одноэтажный, восточный и западный двухэтажные.