Поворотный момент в истории Орфорда произошёл в XII веке, когда правивший тогда король Генрих II, выбрал Орфорд в качестве места для постройки нового замка. В историческом королевском финансовом документе (the Pipe Rolls) были обнаружены записи датируемые периодом с 1165 по 1173 годы, относящиеся к строительству замка в Орфорде. Из них можно заключить, что полная стоимость строительства составила около 1413 флоринов. Полностью отстроенный замок представлял собой центральный донжон, окружённый внешней стеной.
Свыше 150-ти лет замок являлся собственностью короны. В 1336 году король Эдуард III продал замок графу Суффолка, Роберту Уффорду. За исключением XIX и XX столетий замок оставался частным владением. С течением времени наружная стена разрушалась, и её камень был частично продан, а частично просто расхищен. Высокий донжон уцелел, поскольку служил полезным ориентиром для торговых маршрутов.
После сэра Ричарда Уоллеса у замка сменилось ещё семь владельцев. Последний из них, местный член парламента, сэр Артур Чёчмен, купивший замок в 1928 году передал его в национальное достояние.
В 1929 году организация Наследие Орфорда взяла замок под свою опеку и незамедлительно приступила к реставрационной компании. Через год замок был открыт для широкой публики. Мебель и декоративные элементы замка, сильно пострадали во время второй Мировой войны, когда он был реквизирован для военных целей. На его крыше была размещена радарная установка, а внутри проживал обслуживающий её состав.
В 1962 году Наследие Орфорда передала замок на попечение Министерства работ. С 1984 года замок находится в ведении организации Английское наследие.
