Ворота Толедо находятся на пересечении шоссе Толедо (Ctra de Toledo) и кольцевой дороги (Ronda de Toledo и Ronda del Carmen) в 1,5 км от кафедрального собора. Они представляют собой остатки городской крепостной стены, на месте которой сейчас находится кольцевая автодорога.
Строительство стены началось в 1297 году и, согласно архивным записям, по всему её периметру было возведено около 130 башен, в основном из кирпича. Из всей стены, не считая фрагмента её восточной части, сохранились лишь Ворота Толедо, служившие входной аркой в бывший Дворец Альфонсо XI. Деревянная табличка на воротах Толедо со стороны города указывает на то, что они были построены в 1328 году при правлении Альфонсо XI . Однако некоторые учёные говорят и о более ранних датах строительства.
Ворота Толедо включают шесть стрельчатых и подковообразных арок, которые как будто символизируют мирное сосуществование христиан и мавров. Две внешние стрельчатые арки c большим возвышением опираются на колонны, прислонённые к стене. Две средние арки – подковообразные, а две внутренние стрельчатые арки выполнены в готическом стиле, и между ними раньше опускалась железная решётка.
По обеим сторонам от арок возвышаются две массивные квадратные крепостные башни высотой 12 метров, увенчанные зубцами. Раньше они образовывали идеальный куб с одинаковой высотой, шириной и глубиной. С внешней стороны ворота увенчаны военным гербом Кастилии.