Эта городская резиденция, построенная канцлером герцога Жана V, Жана Мальтруа, отражает социальный статус своего владельца. Это четырехэтажное сооружение объединяет два строения, построенных в разное время. Главный вход в здание располагается в башне, по винтовой лестнице которой можно подняться на любой из этажей.
На втором этаже здания размещается «Cabinet des Pères du désert», созданный в 17 веке, и украшенный полотнами фламандских мастеров. Сейчас в Шато-Гейяр располагаются залы исторического музея города, посвященные доисторическому, галло-романскому и средневековому периодам.