Замок Пирмонт стоит на горе над речушкой Эльтцбах неподалеку от городка Роес (Roes), вдоль которой в Средние Века шел важный торговый путь. Ниже по течению всего лишь
в 5 км по прямой расположен знаменитый замок Эльтц.
Замок Пирмонт стоит на сланцевой скале и прилегающем к ней окончании вытянутой горы, с трех сторон он защищен крутыми склонами, с четвертой он отделен высеченным в горе рвом. С внешней стороны ко рву примыкает форбург.
Внутри башня имела три этажа. Кроме того в основании башни расположена сводчатая кладовая, вырубленная в скале несколько позже постройки башни, ее диаметр 3,8 и высота 2,5 м. Над ней находится высокое помещение со сводом из туфа высотой 5,7 м. Сейчас в его стене прорублен вход в башню, а в старину для доступа в помещение служило отверстие в центре свода. Этот этаж не был жилым. А служил кладовой и возможно темницей.
Главный этаж также сводчатый и имеет высоту 9 м. Именно в нем в старину находился вход в башню, сейчас служащий окном. К нему вела деревянная лестница. Помещение было жилым, в нем находился камин, и осветительная прорезь, под которой располагалась ниша с каменным сиденьем шириной 2 м. Наверх идет узкая спиральная лестница, проходящая внутри стен, имеющих толщину 1,7 м.
Верхний этаж также имел камин. Рядом с камином расположен небольшой эркер с отверстием вниз, как раз над входом в башню. В 4 оконных нишах подоконники одновременно служат сидениями. Из этого помещения на верхнюю платформу ведет каменная лестница. Сейчас платформа открыта, но в старину над ней была конусообразная крыша.
Рядом с башней расположен колодец диаметром 2,4 м и глубиной 58 м, вырубленный в горе до водоносного слоя.
К башне примыкает старейшая жилая постройка, сейчас называемая Старой кухней. От первоначальной постройки сохранились лишь очертания, так как здание было перестроено одновременно с возведением жилого дома-паласа в начале 18 в. Палас и Старая кухня (изначально видимо двухэтажная) имели три полных этажа, с большими окнами, которые были прорублены также в стенах Старой кухни. Палас как бы соединяет старую жилую постройку с другим сооружением, сохранившимся от первоначальной постройки – башней капеллы с резным готическим окном.
Входом в первоначально построенный замок служили ворота, находившиеся на северной стороне, наклонный сводчатый ход от которых вел в верхний замок. Через них также можно было пройти в нижний замок на южной стороне, находившиеся в нем постройки хозяйственного назначения не сохранились.
Позднее, в 15 в. Нижний замок был расширен и сросся с расположенным между старым замком и рвом цвингером. Ранее граница замка проходила на месте большого подвала. В это же время были сооружены две круглые башни диаметром 3,5 м и 5,8 м. От большей башни на север идет ров шириной 7 м. От стены и ворот сохранились лишь основания.
Тогда же появились и восточные ворота со своим цвинегром. Форбург с западной стороны возник скорее всего позднее.