В середине XII столетия, по свидетельству придворного хрониста зальцбургского епископа Конрада I, завершилось сооружение нового, более могучего Птуйского замка, который был призван противостоять постоянной угрозе венгерского вторжения. В последующие века архитектурный облик замка претерпел некоторые изменения. С 1622 года его владельцами были князья Эггенберги, в 1656 году он перешел к генералу Вальтеру Лесли, в дальнейшем владельцы замка менялись неоднократно.
С 1945 года в древней крепости располагается городской музей, имеющий репутацию лучшего исторического музея в Словении. В его фондах — обширные коллекции музыкальных инструментов, ковров и гобеленов, оружия и других художественно-исторических ценностей. В замке почти полностью сохранилась обстановка времен его последних владельцев — графов Герберштейнов.
Множество зданий Птуя имеет статус исторических памятников. Старое здание муниципалитета, многочисленные дома городских патрициев украшают изумительные резные двери, кованые железные решетки прихотливого рисунка, искусно изваянные из камня архитектурные детали.