Дворец Сильвела находится в Jardín Silvela в 150 метрах к юго-западу от дворца.
Он был построен по приказу консорта Изабеллы II, принца Франсиско де Асиса де Бурбона в 1860 году для кузена Адальберта Баварского, женившегося на одной из испанских инфант. Архитектором дворца стал Хосе Сегундо де Лима, который создал проект в жанре т.н. неоготического рационализма, поэтому здание имеет романтические «средневековые» черты. Кирпичный фасад дворца отделан белым камнем из Кольменара.
Во время Гражданской войны в нем располагалось республиканское ЧК (испанские коммунисты называли их точно также: la checa – в честь одноименной организации своих русских коллег). Тогда из дворца исчезли ценные картины, библиотека и мебель. Затем здание отошло к военным, так что к 1962 году, когда началась его реставрация, он был уже почти разрушен, хотя в настоящее время он приведен в порядок.