Строительство Госпиталя Тавера, также известного как Госпиталь Святого Иоанна Крестителя, было начато в 1541 году Хуаном Пардо де Тавера, толедским архиепископом и главным инквизитором. Госпиталь является одним из немногих памятников в городе в ренессансном стиле. Госпиталь расположился за городскими стенами вне заставы Бисагра, и поэтому он также называется «наружним» (Hospital de Afuera). Строительство здания было в целом завершено в 1603 году. В нем поучаствовали известные испанские архитекторы того времени: Бустаманте, Коваррубиас, Гонсалес де Лара и Вергара. Возведение же внешних стен было окончательно завершено только в 18 веке.
Гранитный трехъярусный фасад госпиталя отличается строгой простотой, как и грандиозный внутренний двор, разделенный портиком. Этот портик тянется от выхода во двор до дверей госпитальной церкви Святого Иоанна Крестителя, вырезанных Алонсо Берругете из каррарского мрамора. Однонефная церковь имеет в основании латинский крест и покрыта куполом на четырех парусах. В центре церкви расположен мавзолей архиепископа де Тавера (гробница выполнена Берругете). В крипте находится родовая усыпальница герцогов де Лерма и Мединасели.
В Обеденном зале выставлен конный портрет Карла V кисти Санчеса Коэльо. В Зале архива, помимо документов, относящихся к истории строительства комплекса, хранятся картины «Святое Семейство» Эль Греко, «Философ» и «Бородатая женщина» Риберы. В салоне Греко выставлен портрет кардинала де Тавера, написанный с его посмертной маски и другие работы художника: «Слезы Святого Петра», «Святой Франциск» и «Крещение Христа». Здесь же представлены картины Сурбарана и Бартоломэ Гонсалеса, а также два гобелена 16-17 века. В спальне герцогини де Лерма находится «Святое Семейство» Тинторетто, «Месса Святого Григория» и «Моление в Гефсиманском саду» Луки Джордано. В комнате герцога хранится портрет последнего представителя рода де Лерма, кисти Сотомайора, и портрет его матери, герцогини Мединасели, выполненный Эдуардом Дюбюфэ в 1861 году. Из мебели выделяется шкафчик из черного дерева и слоновой кости с различными библейскими сюжетами. Также стоит отметить аптеку 17 века с медицинскими приборами той эпохи.
