
Замок Валмер был построен по приказу Генриха XIII в качестве артиллерийского форта для защиты южного побережья от угрозы военного вторжения в протестантскую Англию армий католических Франции и Испании. Валмер стал частью фортификационной системы из трёх фортов Дил, Валмер и Сэндаун, между которыми располагались земляные укрепления и рвы. Такая система позволяла организовать более плотную оборону при атаке с моря и могла управляться единым командованием.
В отличие от средневековых замков, Замок Валмер не имеет высокой оборонительной стены. Как и два других форта, Валмер построен с учётом изменений в фортификационном дизайне, получившим распространение в XVI веке в связи с изменением тактики и стратегии ведения боевых действий. Пороховое оружие получает всё большее распространение, и высокие стены становятся лишь дополнительной мишенью для постоянно улучшающейся артиллерии. Низкие наружные стены, усиленные мощными бастионами, в комбинации с земляными валами и рвами, предоставляли вражеским батареям меньшую площадь поражения что, несомненно, увеличивало их живучесть.

В 1708 году замок Валмер стал официальной резиденцией лорда-наместника пяти портов (Lords Warden of the Cinque Ports). Конфедерация пяти портов возникла в XI веке, когда пять портов Гастингс, Ромни, Хит, Дувр и Сэндвич объединили свои усилия по охране побережья и торговых маршрутов, предоставляя для этого корабли и людей. За свою деятельность города конфедерации получили от короны местные привилегии на самоуправление, право на взимание таможенных пошлин, право на ведения судопроизводства и т.д., окончательно закреплённые за ними в 1278 году. В том же столетии была организована королевская служба по надзору и урегулированию дел конфедерации. Изначально глава этой службы – лорд-наместник обладал реальной властью для контроля морской торговли и жизни портов южного побережья, но к XVI веку после создания королевского военно-морского флота, роль союза пяти портов начала снижаться и звание лорда-наместника стало не более чем почётным титулом, обычно даруемым короной за выдающиеся заслуги перед государством.
Поскольку замок утратил военное значение лорды-наместники стали уделять внимание улучшению комфортности проживания в замке и облагораживанию местности вокруг него. Так лорд Вильям Питт заложил вокруг крепости сады, придавшие более мягкий вид некогда грозной цитадели. Многое для замка сделал другой его знатный владелец герцог Веллингтон, скончавшийся в замке Валмер. Его спальня и ныне оставлена в том состоянии, в котором она служила владельцу при жизни. Последним лордом-наместником была Ее Величество королева Елизавета, Королева-Мать. Она часто любила останавливаться в Валмере в летнее время. Некоторые из комнат её апартаментов сейчас открыты для широкой публики, как и другие залы замка Валмер, который претерпев множество изменений, стал очаровательным местом среди пышных садов и уже давно не служит тому предназначению, которое в нём видел Генрих VIII.