Замок Даффус – это типичный пример норманнского замка типа motte and bailey. На высоком холме находилась главная деревянная башня, а сам холм был окружён рвом, деревянным частоколом и внешним двором. В свою очередь внешний двор также был ограждён собственным рвом с водой и деревянной стеной.
В средневековые времена замок окружало осушенное ныне озеро Лох Спайни, что придавало ему дополнительную защиту. Внешний ров, помимо оборонительных функций служил в качестве дренажа, поскольку искусственно насыпанный курган мог оползать из-за высокой влажности.
Одним из этих людей был Фламандский военачальник Фрескин, к тому моменту уже владевший обширным поместьем в Лотиане. Он с одобрением согласился расширить свои владения на север и обосновался на новых землях Даффуса. Его сын Уильям примет титул «de Moravia» (из Морея), и к 1200-ым годам, наследники Фрескина, станут одним из влиятельных Домов на севере Шотландии. В своём новом владении Фрескин возвёл типичный для того периода замок из дерева и земли (motte and bailey). На вершине кургана находилось жилище лорда, а на дворе под ним различные вспомогательные и хозяйственные постройки, среди которых была даже пивоварня и возможно часовня. До наших дней ни одно из строений этого первого замка не уцелело.
В 1286 году в семье Фрескинов не осталось прямых наследников по мужской линии и новым владельцем Даффуса становится дворянин сэр Редженальд Чейн, получив поместье посредством бракосочетания с наследницей этого знатного рода Морея. Он поддержал короля Англии Эдуарда I в его борьбе за обладание Шотландией, за что получил материальные средства (в хронике упоминается о 200-от дубах из королевских лесов) на восстановление сожжённого шотландцами замка. Вероятно, к 1300-му году замок после перестройки имел каменные стены и каменный главный донжон, установленный на вершине кургана на широком фундаменте. Внешняя стена имела четыре входа, три из которых сохранились и сегодня. В XV столетии, вдоль северной стены был построен ряд зданий, о существовании которых, сегодня можно догадываться лишь по останкам их фундаментов. Потомки Чейна проживали в Даффусе до 1705. Затем он был продан сэру Арчибальду Данбэру. В 1715 году сэр Арчибальд построив неподалёку к северу новую усадьбу Даффус Хаус, переехал жить в неё окончательно оставив замок. В 1926 сэр Эдвард Данбер передал руины замка под опеку государства.
