Замок Скарборо расположен на скалистом мысе треугольной формы, возвышающимся над морем на высоту 300 футов. На этом месте имеются свидетельства поселения ещё железного века и остатки Римской дозорной станции. Первый средневековый замок был построен Вильгельмом Омальским (William le Gros) в 1130 году. Он соорудил стены вдоль берегов мыса и построил башню где теперь располагается цитадель. Когда в 1154 году Генри II вступил на трон Англии он потребовал возвратить все королевские замки, и Скарборо который был построен как королевское поместье, стал одним из замков возвращённых Короне.
Генри II потратил немалые средства на улучшение замка Скарборо, построив на месте башни огромную квадратную цитадель и стены для защиты внутреннего двора. Работы по улучшению замка были продолжены королём Джоном, который увеличил и расширил стены замка. Также были построены новое здание с залом во внутреннем дворе, новые королевские апартаменты и большое здание во внешнем дворе. В 1243 году Генри III добавил к замковому комплексу новый баракаран и башню с двойным подъёмным мостом, крепившимся к каменной арке.
В 1645 году во время осады Скарборо войсками Парламента, его защитники вставшие на сторону роялистов, оказали яростное сопротивление. Они смогли выдержать пятимесячную осаду, несмотря на мощные артиллерийские обстрелы. И всё же 25 июля 1645 года замок пал. После окончания Гражданской войны он был превращён в тюрьму, а в середине XVIII века к нему были добавлены казармы, использовавшиеся до середины следующего века. Казармы были сильно повреждены во время первой Мировой Войны, когда утром 16 декабря 1914 года Германские боевые корабли выпустили по Скарборо более 500 снарядов. Впоследствии повреждённые казармы были снесены.
