Отличительной особенностью замка Хелмсли это его земляные укрепления с двумя глубокими рвами, прорубленными сквозь породу горы, на которой стоит замок. Первый деревянный замок был построен на этом месте в начале XII века Уолтером Эспеком. После его смерти в 1154 году замок достался его двоюродному брату Петеру де Ру. Семья де Ру владела замком вплоть до 1688 года.
Спустя некоторое время, в 1186 году, Роберт де Ру перестроил замок в каменный. Он заменил деревянный палисад каменными стенами, с круглыми башнями и двумя входными воротами. Одни располагались на юго-востоке под мощной прямоугольной башней, а другие на севере в надвратном укреплении с двумя круглыми башнями. Он также пристроил к замку две огромные круглые башни, одну с востока, а другую с запада. К защитным приспособлениям замка в середине XIII века были довалены баркараны к южным и северным воротам. Вильям де Ру унаследовал замок в 1285 году и внес свой значительный вклад в укрепление его обороноспособности. Он надстроил ещё один ярус в восточной башне, построил новые жилые помещения и усилил баркаран южных ворот. Он также построил новый холл примыкающий к западной башне, который он превратил в роскошные личные апартаменты. Замок почти не менялся до 1560 – ых годов, когда западная башня и холл были превращены в прекрасный готического стиля Тюдоровский дом (стиль архитектуры) для Эдварда Маннерса.
