На месте нынешнего замка Фрамлингхем разного рода оборонительные сооружения существовали ещё с VI века нашей эры, но первая конкретная историческая запись, упоминающая о замке, датируется 1100 годом. Она гласит о том, что замок был дарован королём Генрихом I Роджеру Биго, 2-му графу Норфолка. В то время замок представлял собой небольшой курган с внешним двором, окружённым деревянным палисадом и рвом. В 1175 году замок был разрушен королём Генрихом II.
Между 1180 и 1200 годами Роджер Биго младший начал перестраивать замок своего отца. Именно этот замок Фрамлингхем сегодня доступен для взоров посетителей. К этому периоду строительства относятся 12 нынешних полых башен (13-ая разрушена), соединённых большой стеной, высотой в13 метров и толщиной 2,5 метра, вдоль которой теперь могут прогуляться сегодняшние гости замка.
Многие замковые модернизации эпохи Тюдоров, включая, кирпичную кладку и декоративные камины были проведены Томасом Говардом, герцогом Норфолка во время правления Генриха VII. Генрих VIII конфисковал Фрамлингхем в пользу короны, а затем его сын Эдуард VI передаёт его своей сестре Марии. Именно здесь в 1553 году она узнала, что её сторонники провозгласили её королевой Англии. Мария восстановила семье Говард права на замок, но он больше не использовался ими в качестве резиденции. После казни четвертого графа Норфолка за государственную измену, преемница Марии королева Елизавета I в очередной раз конфискует замок в пользу короны и использует его в качестве тюрьмы для католических священников, бросивших вызов новой англиканской церкви. Постепенно замок приходит в упадок и в 1613 году снова возвращается в собственность Говардов.
В 1635 году замок у них приобретает сэр Роберт Хитчем (Sir Robert Hitcham). Сэр Роберт вошёл в историю замка как один из великих благотворителей Франлингхема. Перед своей смертью он оставил замок колледжу Пембрука, где когда-то учился. По его завещаниям замок должен был быть разрушен, а на его месте возведена богадельня. Могила сэра Роберта Хитчема находится в церкви Святого Михаила. Постепенное разрушение замковых внутренних строений началось сразу же, но сама богадельня (Poorhouse) была частично построена лишь 30 лет спустя. В 1837 году её стали использовать в качестве здания окружного суда, зала для заседаний, пожарной станции, школы и тренировочного зала. В 1913 году замок был взят под государственную опеку и на сегодняшний день управляется организацией «Английское наследие». На сегодня от замка осталась в основном лишь оболочка, но и она способна передать весь дух романтизма средневековой архитектуры.
