Фамилия Померой происходящая своими корнями из Франции, пришла в нынешнее графство Девон во время Норманнского завоевания. К 1268 году они построили небольшой город Бриджтаун на своей земле ограниченной рекой Дарт, напротив Тотнеса. Из хроники 13 века известно, что в 1207 году Генри Померой отгородил 10 акров оленьего парка к своей поместной деревни Бери Померой.
Точная дата окончания строительства замка не известна. Первое письменное упоминание появляется в документе датированным 1496-ым годом, извещающим об ассигновании замка вдовой Ричарда Помероя. В 1547 году Томас Померой, испытывающий глубокие финансовые проблемы, вынужден был продать замок, поместье и ближайшие угодья Эдварду Сеймуру.
В 1553 году старший сын Эдварда от первого брака, Сэр Эдвард Сеймур, приобрёл Берри Померой, вскоре сделав его своей резиденцией. В 1560 году он начал заменять старые семейные здания Помероев, на новые, построенные в более фешенебельном стиле того времени. Он выстроил высокий компактный загородный дом с тремя крыльями. Этот дом был выстроен внутри защитных сооружений старого замка, которые оставались стоять, и занимал восточную половину территории. Эдвард в 1583 году стал Шерифом Девона, а в 1588 году королева Елизавета поручила ему собрать армию для защиты Девона от испанского вторжения.
Эдвард умер в 1593 году, и поместье перешло к его старшему сыну, другому Эдварду. Он к тому времени уже носил титул Шерифа Девона, а также был назначен Вице-Адмиралом Корнуолла. Он также являлся членом парламента от Девона с 1590 по 1611 годы. Он был целиком охвачен воплощением своих строительных планов по укрупнению и улучшению своего дома в замке Бери Померой. Новое крыло, содержащее штатные комнаты, было построено вдоль северо-западной стороны территории. Это новое здание содержало в себе кабинет, большую комнату и огромный зал с фешенебельными лоджиями, выполненными в классическом стиле. В западном конце крыла была высокая кухня с просторной лоджией над ней. Галерея верхнего этажа имеет протяженность 63 метра.
С обоих сторон крыла было начато строительство террас, но они так и небыли завершены. Также планировалось разместить ещё ряд комнат вдоль западной стороны, но их строительство так и не началось. Территория в период с 1688 по 1701 годы начала приходить в запустение из-за нехватки ценных строительных материалов для зданий и семья Сеймуров решает переехать из своего великого, но недостроенного дома в более современный загородный дом, который они достроили в другом своём поместье Мэйден Брэдли в Уилтшире.
