Ещё в античные времена римляне использовали удачное местоположение этого уголка Камбрии, выстроив во 2 – ом столетии на этом месте укреплённый форт. Расположенный в живописной долине реки Имонт (River Eamont) замок Брохэм был построен в 13 – ом веке на руинах этого римского сооружения. Его строители использовали для сооружения замка основную часть старой римской кладки, а старые земляные укрепления для возведения новой средневековой обороны.
Строительство началось в начале 13 столетия, когда этот участок земли приобрёл Роберт де Випон. Он построил каменную цитадель и другие хозяйственные здания, окружив их деревянным палисадом. На рубеже веков замок перешёл в собственность семьи Клиффорд, и именно Роберт Клиффорд начал улучшать обороноспособность замка Брохэм, чтобы успешно противостоять набегам шотландцев. Деревянный палисад заменила большая каменная стена. На северной её стороне соорудили мощную надвратную башню. Внук Роберта продолжил работы, по укреплению замка расширяя здания вдоль южной стороны ограды в 1380 – ых годах. Но в конце десятилетия замок оказался в эпицентре англо-шотландских войн.
После установления мира в истории семьи Клиффорд наступил период процветания и в 1525 внук Джона, Генри был удостоен титула первого Графа Камберленда. Хотя во время гражданской войны замок Брохэм пребывал в запустении, после того как Леди Анна Клиффорд (Lady Anne Clifford) заинтересовалась своим семейным домом, он прошёл доволно быстрый путь к восстановлению.
Регулярно посещая Замок более 20 лет, она восстановила остов здания, добавила новую пекарню и пивоваренный завод, и заложила большие фруктовые сады. После ее смерти в 1676, Замок Брохэм был фактически покинут. К середине 18-ого столетия, все его сокровища были распроданы, а замок постепенно стал превращаться в руины.
Сегодняшние посетители все еще входят в Замок Брохэм через построенную из красного кирпича надвратную башню, дорога через которую ведёт непосредственно к внутреннему двору и главной цитадели. Как единственная, наиболее сохранившееся часть оригинального замка, главная цитадель - самое старое здание на его территории. Изначально после постройки она имела три уровня, но Роберт Клиффорд в начале 14-ого столетия добавил в дальнейшем ярус с зубчатыми стенами, который уже давно исчез. Помимо главной цитадели можно увидеть остатки зданий располагавшихся у южной стороны стены. В отличие от другого замка Клиффордов Бро, Замок Брохэм расположен в изумительном по красоте тихом местечке. Также на южной стороне замка можно распознать линии схемы старого римского форта, свидетеля событий двух тысячелетней истории.
