Крепость Веспрем расположена в одноименном древнейшем городе Венгрии. Она была основана во времена правления короля Иштвана Святого, однако по сообщениям летописца князя Белы III на скале, где была возведена Веспремская крепость, уже был замок, когда венгры пришли в этот регион. Вероятно это было укрепление франков, построенное в эпоху Карла Великого.
Веспрем стал первой резиденцией венгерских епископов, епископат здесь был утверждён в 1009 году. Веспремским епископам издавна принадлежала привилегия короновать венгерских королев, из-за чего Веспрем называли «городом королев».
В 1706 году стены крепости были разрушены австрийскими солдатами.