Замок Штольберг стоит в одноименном городе над рекой Фихтбах неподалеку от Аахена.
Замок стоит на скале, вытянутой с востока на запад на восточном берегу небольшой речки Фихтбах. Вокруг него расположен старый город, которому он дал имя.
Вход в форбург находится в юго-восточной части замка, его фланкирует круглая башня верхнего двора.
Вход в ядро замка, также фланкированный круглой башней, находится в западной части замка с южной стороны. Он расположен выше уровня среднего двора. С южной стороны рядом с входом стоит жилая башня, именуемая здесь каменатой. С фланкирующей башней ее соединяеет стена с галереей.
Восточнее находится главный жилой дом замка - палас. У северо-восточного угла паласа стоит романский круглый бергфрид. Его высота 22 м, наружный диаметр 15 м. В верхней части бергфрида находятся арочные окна. Между паласом и бергфридом стоит еще одна башня, в которой находится винтовая лестница.
У северо-восточной оконечности замка стоит еще одна круглая башня, соединяющаяся с бергфридом галереей. Эта башня фланкировала северную стену и одновремена служила
данскером - вынесенным нужником.
В верхнем дворе также находится колодец.