Королевский дворец был официальной резиденцией Королей Испании непродолжительный период с 1601 по 1606 гг., а также временной резиденцией монархов Испании со времен Карлоса I (Carlos I) и Изабеллы II (Isabel II), а также до времен Наполеона в течение войны за независимость (Guerra de la Independencia).
Дворец был построен в 1524 г. архитектором Луисом де Вега (Luis de Vega), по заказу его первого владельца Франциско де лос Кобос (Francisco de los Cobos), который был государственным секретарем. В 1600 г. дворец приобрел герцог де Лерма (Duque de Lerma), позже продавший его королю Филиппу III под королевскую резиденцию.