Замок По располагается в самом центре старой части города. Он находится на возвышении на берегу реки Гав-де-По – месте, выбранном из стратегических соображений. Замок был построен приблизительно в 11 веке, и его название (давшее впоследствии имя и всему городу) происходит от слова «pau» - что на беарнском наречии означало изгородь, частокол, которым был окружен замок.
Первоначально замок По представлял собой типичную средневековую крепость с тремя башнями, надстроенными в 12 веке по приказу Гастона Беарнского. Башни получили названия Мазер, Бийер и Монтозе – по названиям местностей в округе По. В 14 веке из-за Столетней войны возникла необходимость в дополнительном укреплении замка. Тогда знаменитый Гастон III Феб построил внушительный донжон высотой в 33 метра. На нем выгравирована надпись «Febus me fe» - «Меня сделал Феб». Такая же надпись выгравирована над входом в замок Монтане – еще одну крепость, возведенную по приказу Гастона Феба для защиты района По.
Однако, событие, которое больше всего прославило замок По – это рождение здесь короля Генриха IV. В музее замка до сих пор хранится колыбель, сделанная из черепашьего панциря, в которой некогда в младенчестве спал будущий король. Несмотря на то, что Генрих IV провел здесь только свое раннее детство, замок По теперь прочно ассоциируется с его именем. Именно потому в 19 веке в период Реставрации король Луи-Филипп I, получивший прозвище «король-гражданин» за свою надежду объединить идеи монархии и Революции, выбрал замок По в качестве своей резиденции. По его мнению, это место символизировало примирение враждующих сторон – так как было связано с именем короля, в свое время положившего конец вражде католиков и протестантов. В это время в замке были проведены реставрационные работы, но сам Луи-Филипп I так и не смог посетить замок По: разразилась Февральская революция 1848 года и отрекшийся от престола король вынужден был бежать в Англию.
В наши дни замок является музеем, в котором выставлены многочисленные экспонаты французского изобразительного и декоративно-прикладного искусства, начиная с эпохи Генриха IV. В замке хранится обширная коллекция гобеленов (самая большая во Франции после той, которая находится в Париже), а также коллекция живописи и рисунков. Время от времени в музее устраиваются тематические выставки, проводятся лекции по истории Франции и конференции.
