Замок Эльтц расположен в лесу в нескольких километрах от городка Мюнстермайфельд (Münstermaifeld). Он стоит на скале, огибаемой с трех сторон речушкой Эльтцбах, впадающей в Мозель.
Замок Эльтц является одним из самых знаменитых и живописных замков Европы. Своим необычным видом он обязан своей истории. Замок никогда не менял владельцев, не был разрушен, избежал больших пожаров. С другой стороны совладельцев было много - замком одновременно владело несколько ветвей семьи фон Эльц. Замок строился на протяжении 500 лет и сейчас его ядро представляет собой комплекс из 10 жилых башен, самая высокая из которых имеет высоту 42 м от основания. Старейшая - романская - часть замка - это дом Платэльтц (5) и примыкающий к нему небольшой двор (6), называемый также старым замком.
Первые и подвальные (относительно уровня двора) помещения либо вообще не имеют окон, либо это окна-бойницы. В этажах, начиная со второго окна уже довольно большие, однако снаружи они находятся на такой высоте, что это не уменьшает обороноспособности замка.
Вокруг ядра замка расположены несколько разделенных стенами дворов, образующих внешний пояс укреплений, а также служащих хозяйственным целям. У замка два входа. К главным воротам (11), находящимся на северной стороне, ведет длинный узкий мост. На юго-востоке находятся вторые ворота, через которые можно спуститься к реке.
Замок расположен ниже окружающих его гор, но отделен от них глубокими оврагами и рекой. Поэтому в средние века он был все равно практически неприступен. Замок не испытывал проблем с питьевой водой и при достаточных запасах продовольствия способен был выдержать длительную осаду. Однако он оказался уязвим в другом отношении.
В 1331 году началась т.н. Эльцская распря. Эльтц был от основания имперским замком, но его окружали владения архиепископства Трирского. К 14 веку императорская власть была уже ослаблена спором об инвеституре. Воспользовавшись этим, архиепископ Балдуин потребовал от рыцарей фон Эльтц принесения вассальной присяге. Рыцарей, однако, вполне устраивало то, что их сюзереном был далекий император. Длительная осада ничего не дала. Тогда за несколько месяцев был построен контрзамок Балдуин-Эльтц или Трутц-Эльтц (от нем. trotz - вопреки). Расстояние между двумя замками по прямой 290 м, кроме того, Трутц-Эльтц находиться значительно выше и практически нависает над Эльтцем. Он (см. план) имеет четырех угольное ядро с квадратным бергфридом, расположенное на отделенном внешней стеной и рвом языке горы. Замок мог иметь лишь небольшой гарнизон, однако для рыцарей фон Эльтц он был неприступен. Кроме того, Трутц-Эльтц отрезал Эльтц от дороги на плодородный Майфельд, а также его гарнизон мог контролировать дорогу на Айфель, идущую вдоль реки, и главный вход в Эльтц. Упорство обитателей старого замка было сломлено. После окончания распри Трутц-Эльтц утратил свое значение, опустел и быстро пришел в упадок.