До конца VX века удобная бухта Камбер, расположенная на прибрежной равнине между Раем и Винчелси защищалась со стороны моря лишь галечными косами. На оконечности одной косы между 1512 и 1514 годами Сэр Эдвард Галдфорд соорудил круглую башню для охраны бухты. В 1538 году перед лицом угрозы вторжения в протестантскую Англию со стороны католических Франции и Испании, король Генрих VIII отдаёт приказ о строительстве серии артиллерийских фортов вдоль южного побережья для защиты уязвимых со стороны моря областей. Существовавшая башня Камбер стала основой для нового форта, построенного между 1539 и 1544 годами. Активная жизнь в замке продолжалась весьма короткий промежуток времени. К концу XVI века из-за заиливания бухты Камбер замок потерял свою стратегическую важность и его гарнизон был расформирован. Этот ранний отказ от содержания замка привёл к тому, что в отличие от других фортов, например, такого как Валмер, претерпевшего в своей истории значительные модификации, замок Камбер сохранил свой первоначальный оригинальный дизайн.
Сегодня посещение замка Камбер включает в себя приятную пешую прогулку длиной в одну милю по прилегающей равнине. Замок находится в совместном ведении администрации природного заповедника Rye Harbour и организации "Английское наследие". Внешние екстерьер замка доступен для осмотра в любое время. Экскурсии для осмотра интерьеров Камбера организовываются регулярно в летнии месяцы.
