Дворец графа Альба-де-Йелтес расположенный на площади Конде (la Plaza del Conde), в трехстах метрах на северо-восток от Кафедрального собора, был построен в первой половине 16 века для семьи Ньето-де-Силва.
Известно, что он был возведен над другим, более старым зданием. После реконструкции начала 18 века дворец обзавелся большим барочным порталом в виде полукруглой арки с двумя колоннами и треугольным фронтоном с гербами Ньето, Силва, Пачеко и Гусман. В середине 18 века дом использовался в качестве тюрьмы. В 19 веке здание было продано военному министерству, которое использовало его для различных нужд армии. В 20 веке здание перешло банку Caja Duero, который произвел последнюю реконструкцию здания в 1945 году.