Сады находятся на месте античного кафедрального собора и дворца епископа. Их начали создавать в честь свадьбы Филиппа II (Felipe II) и Анны Австрийской (Ana de Austria) в 1750 г. Первые посадки деревьев осуществили в 1816 г., в 1862 сад пострадал от пожара, и был заново высажен в 1882 г.