Замок Перрьер находится на холме, возвышающемся над городом, у долины реки Сона. Он был заложен в 14 веке и дополнялся и перестраивался вплоть до 18 века. Первоначально здание принадлежало одной из многочисленных еврейских семей, осевших в этом регионе.
К концу 18 века замок был расширен. Основная его часть представляет собой прямоугольную в плане постройку 34 метра в длину с фасадом, выходящим на южную сторону комплекса. Эта часть окружена с двух сторон квадратными башнями с шатровыми крышами, которые опираются на нижний этаж двух корпусов, расположенных под прямым углом к центральной части; верхние помещения этих построек освещены круглыми окошками, проделанными в сводах. Южный фасад венчает большой треугольный фронтон, который, будучи выше двускатной крыши, закрывает от взора ее вершину. Еще одна башня расположена в центре фасада северного крыла, которое продолжается на восток. Под центральной постройкой замка находится подземелье площадью около 400 квадратных метров, свод которого поддерживают пилястры.