В 1145 году было первое упоминание о замке Хардегг. Первыми владельцами были графы Хардегг. После Хардеггов следующими владельцам замка были Магдебург-Хардэггеры.
При их правлении замок был значительно расширен (были построены башня, дворец, часовня), пока не стал одним из крупнейших в стране. После смерти бездетного графа Михаил Рейха фон Хардега, замок перешел во владение Габсбургов в 1499 году. В 1502 году в замке была отчеканена первая серебряная монета.