Нынешний город Ричмонд, получивший своё название от французского словосочетания riche monte, что означает «могучий холм», вырос вокруг норманнского замка, который до сих пор доминирует над местностью, возвышаясь на утесе, на берегу реки. Замок в конце XI века построил соратник Вильгельма Завоевателя Ален Руфус, чтобы сделать его своей главной резиденцией и центром управления новыми землями, полученными им в награду за преданную службу королю Вильгельму. До прибытия норманнов на месте замка не было никаких укреплений. Владевший землей Саксонский граф Мерсии Эдвин в качестве своей базы использовал город Гиллинг.
Город рос под защитой замка. Основная масса жителей проживала вне рыночной площади, которая впоследствии стала внешним двором замка. Когда в XIV веке набеги шотландцев стали представлять собой серьёзную угрозу, Ричмонд получил разрешение на постройку защитной стены вокруг двора, за которой граждане могли чувствовать себя в безопасности.
С южной стены замка открывается великолепный вид на реку Суэйл. Недалеко от юго-западного угла на стене установлена мемориальная доска в память о лорде полковнике Роберте Баден-Пауэлле, основателе скаутского движения. На западной стене, так же как и на восточной можно обнаружить следы кладки «ёлочкой». В этой стене имеется широкая и высокая арка XI века.
Считается, что Ричмонд самый старейший каменный замок в Англии, хотя сейчас спустя 900 лет этот факт трудно доказать. Вместе с тем и сегодня можно представить себе полную картину того, как выглядела эта старейшая английская крепость несколько столетий назад. Предки нынешних Ричмондов проживали здесь с 1071 по 1300-ые годы. Одна из ветвей рода Ричмондов осталась жить в замке, а другие унаследовали ближайшие Йоркширские поместья. Предки одного из первых поселенцев Новой Англии Джона Ричмонда в 1400-ые годы переехали из Йоркшира в Уилтшир. Что же касается, какой либо связи между Ричмондами из Шотландии и замком Ричмонд, то по этому поводу до сих пор неизвестно ничего определённого.
