После успешного норманнского вторжения в Англию, Вильгельм Завоеватель в качестве награды начал щедро одаривать своих соратников новыми владениями. Среди них был и дворянин Уильям де Перси. Будучи человеком крепкого телосложения и проницательного ума, он был очень уважаем королём, даровавшего ему около 80-ти владений, включая нынешние Споффорт, Болтон Перси, Тэдкастер и другие.
Молодой норманнский барон обосновался в округе Споффорт, самом обширным из его владений, тем самым положив начало известному английскому знатному роду де Перси. В течение 10 лет он активно улучшал сельхозугодия своих поместий, превращая пустынные земли в плодородные пашни и пастбища. Об этом имеются упоминания в Книге Страшного Суда (Domesday Book), земельном реестре Вильгельма I.
Существует неподтверждённая история, о том, что в Споффорте в 1215 году Ричард де Перси, тогдашний глава рода, проводил встречу мятежных баронов, на которой составлялись положения Великой Хартии Вольностей. В 1224 году король 6-му графу Уильяму де Перси лицензию на проведение в Споффорте пятничной ярмарки.
К концу XIII века род Перси по мужской линии прервался, и единственной наследницей их родовых имений стала Леди Агнес де Перси. Одним из условий для её будущего жениха было принятие им фамилии Перси. Её мужем стал Жосселин де Лувен, герцог Брабанта, прямой потомок ландграфа Брабанта Готфрида I. Взяв фамилию Перси он стал основателем второй ветви дома Перси.
1-ым бароном нового рода Перси стал сын Агнесс и Жосселина, Генри де Перси. В 1308 году он удостоился от короля Эдуарда II лицензии на укрепление своего имения в Споффорте и вероятно в это же время масштабное переустройство замка, придав ему нынешний облик (о котором можно судить лишь по оставшимся руинам ) В следующем году он приобрёл у епископа Даремского поместье Алнвик.
Семья Перси всегда ценила в первую очередь комфорт и удобство, а не военную силу, поэтому она тратила немалые средства на строительство замков. В этой связи о замке Споффорт нет никаких упоминаний вплоть до 1559 года, когда замок претерпел очередную реконструкцию. Но можно с уверенностью утверждать, что в бытовом плане он сильно отличался в лучшую сторону от мрачных крепостей других Йоркширских баронов, таких как Конисбро, Хэлмсли и Ричмонд.
В 1377 году 4-ый барон Генри Перси лорд Алнвика , стал первым графом Нортумберлендским. Тридцать один год спустя Перси потеряли свои владения в Алнвике, и в Споффорте. Стремясь вернуть себе, своё состояние Генри Перси вместе с сыном Генри Хотспуром присоединился к восстанию баронов против Генриха IV. Генри Хотспур, родившийся в Споффорте погиб в сражение при Шрусбери в 1403 году. После подавления восстания его конфискованные земли, включая Споффорт, были присуждены шерифу Йоркшира сэру Томасу Рокеби.
Во время Войны Роз 3-й граф Нортумберленда Генри Перси, несмотря на свои Йоркские корни, поддержал партию Ланкастера. Когда в Споффорт вошли войска Йорка под командованием графа Варвика, они в отместку разграбили сельскую местность и подожгли замок. Восстановлен он был лишь в 1559 году ещё одним Генри Перси 8-ым графом Нортумберленда. С 1600 году Споффорт стал домом Сэмпсона Инглеби стюарда семьи Перси, но через четыре года после его смерти, нет источников повествующих о дальнейшей судьбе замка. Скорее всего, после гражданской войны замок стремительно пришёл в упадок и подвергся естественным разрушениям.
