Замок Берзе построен на скалистом выступе и повернут в сторону скалы Солютрэ (7 километров на северо-запад от Макона и около семи километров на северо-восток от Сен-Пуана). Он и сейчас доминирует над всей долиной Петит-Грон, а в средние века занимал стратегически важную позицию на границе между областью Маконэ и Бургундским графством, что сделало его свидетелем многих боевых действий.
Еще в 991 году в клюнийском картулярии было засвидетельствовано наличие на этом месте крепости, окружавшей каролингскую часовню, которая находилась в ведении Жофруа де Берзэ. На протяжении веков замок не раз выдерживал осады, и в 15 веке во времена правления Людовика XI заслужил репутацию непреступной крепости. К 18 веку он потерял свое стратегическое значение, после чего был частично разрушен и разграблен. В 1817 году он был приобретен семьей Ти де Милли, которая благоустроила его и украсила в соответствии с романтическими вкусами.
Замок находится в частной собственности. С июня по сентябрь его можно посетить в сопровождении гида. Для групп замок открыт круглый год.