Замок Кохем расположен на высоте 100 м над одноименным городом, на берегу реки Мозель. Построен он был около 1020 года Пфалцграфом Эццо (Ezzo) из рода Эренфридов (Erenfriede).
Осью замка служит главная башня - бергфрид (Bergfried) романской постройки. Она имеет в основании форму квадрата со стороной 5,4 м и толщиной стен до 3,6 м. В верхней части по углам расположены четырьмя позднеготических башенки-эркера. К ней примыкают другие постройки, образующие т.н. высокий замок - в т.ч. палас и маленький дворик, ворота в который защищает Ведьмина башня (Hexenturm) .
Северо-восточная треть - это примыкающий к главным воротам двор. Перед воротами был подъемный мост и ров, служивший одновременно внешним двором - цвингером. С площадки перед воротами открывается красивый вид на город Кохем и реку Мозель. Въезд в замок защищала система из двух ворот. В башне внутренних ворот находился механизм с подъемной решеткой, она (башня) соединялась стеной с галереей с северной третью замка. Вдоль дороги между первыми и вторыми воротами находятся внешние укрепления, так что нападающим пришлось бы подставить стрелам неприкрытый щитом правый бок.