Постройку первого, истинно феодального замка в начале XIII века приписывают Готье, сеньору де Валансэ. Затем по брачному контракту замок перешел к семье Шалон-Тоннер; он был реконструирован и увеличен в размерах, его оборонительная система была улучшена. От этого далекого периода сохранился огромный сводчатый Зал Гвардейцев, скрытый под Парадным двором и соединенный подземным переходом с фортификационными постройками с северной и западной сторон замка.
В середине XV века Валансэ переходит к семье д'Этамп, которая произвела основательные изменения в этом дворянском поместье.
В 1540 году Жак д'Этамп снес старый феодальный замок и заложил фундамент современного роскошного замка. Имя архитектора неизвестно. Иногда называют имя Филибера Делорма или анжуйца Жана д'Эспин, но документов, которые подтверждали бы их авторство, не существует. Покоренный обликом Шамбора, своего "королевского соседа," Жак д'Этамп возводит чудесный центральный павильон - чисто символический донжон, в котором, также как и в Шамборе, пилястры со скульптурными капителями представляют три вертикали классических ордеров. Его корона из машикулей с тонким резным фризом является истинным шедевром Ренессанса. Угловые башни относятся к этому же периоду, также как и корпуса, связывающие их с павильоном; левый корпус украшает прекрасная итальянская галерея.
Работы были продолжены в начале XVII века Домиником д'Этамп, который построил западное крыло, обращенное к парку, и восточное крыло, предназначавшееся для служебных помещений. Наконец, двор был закрыт со стороны долины арочной стеной, связывающей два крыла. Оформление интерьеров было доверено знаменитым художникам, в частности Блезуа Жану Монье, который работал также в Шеверни и в Люксембургском дворце для Марии Медичи.
В середине XVII века семья д'Этамп переживает тяжелые времена: бесконечные тяжбы, споры о наследстве, семейные неурядицы вынудили их продать поместье семье Шомон де ла Мильер. В 1766 году его купил землевладелец - генерал Шарль Лежандр де Вильморьен, который провел реконструкцию старых зданий и осуществил целую серию новых строительных работ: восточное крыло и арочная стена были снесены, с тем чтобы открыть вид на город. Около 1770 года западное крыло было также переделано в связи с постройкой изящной южной башни со стороны, обращенной к долине.
Сын генерала Лежандра, граф де Люсэ, избежавший гильотины во время Революции, в 1802 году уступил владение Талейрану. Как-то однажды Наполеон сказал Талейрану, своему министру иностранных дел: "Господин Талейран, я хотел бы, чтобы вы купили эту прекрасную землю с тем, чтобы вы там принимали представителей Дипломатического корпуса, знатных иностранцев, чтобы они стремились попасть к вам и чтобы приглашение к вам служило вознаграждением для послов тех суверенов, которыми я буду доволен...".
Акт продажи совершился в мае 1803 года на сумму 1 600 000 франков, причем часть суммы уплатил сам Наполеон.
Таким образом, в сентябре Талейран, сопровождаемый прелестной Катрин Уорле "открыл прекрасную землю".
В хронике рассказывается, что "они потратили три дня, проскакав рысцой", чтобы осмотреть свое поместье:
не только прекрасный замок, который насчитывал более 100 комнат, 25 господских апартаментов, служебных построек, образующих целую деревню, но также и парк,
занимавший 150 гектаров, леса, земли, луга, виноградники, 99 ферм - огромный комплекс, раскинувшийся на 19 000 гектарах, то есть одно из самых богатых феодальных поместий Франции.
Убранство замка было завершено: господин Талейран был теперь у себя дома, и в течение четверти века знатнейшие лица добивались чести быть принятыми великим дипломатом, влияние которого на события того времени было огромным.
Ставя Талейрану в вину развязывание войны в Испании, от которой тот не только не предостерегал императора, но, напротив, в какой-то степени поощрял его, Наполеон, чтобы отомстить своему министру и напомнить, что тот владеет Валансэ только благодаря тому, что император частично оплатил стоимость поместья, отправил туда в принудительную ссылку испанских принцев с их свитами. Эта ссылка длилась целых шесть лет. Принцы прибыли туда в мае 1808 года.
Наполеон думал обо всем, даже о том, как лучше организовать развлечения и досуг пленных испанских принцев, и с этой целью предложил Талейрану пригласить в Валансэ актеров.
Театр был устроен в служебных помещениях рядом с Оранжереей: небольшой перистиль с колоннами, фойе, зал с партером, бельэтажем, балконом и выступающими лоджиями вмещал 150 зрителей. Великолепное внутреннее убранство театра: колонны, драпировки и занавес, создававший иллюзию реальности, гирлянды, музыкальные атрибуты, медальоны в стиле "антик", принадлежит братьям Адам, знаменитым швейцарским декораторам.
Театр был открыт в 1810 году, и на его сцене выступали все знаменитые актеры того времени.
Декорации, изготовленные в Париже, доставлялись на повозках; многие из них так и остались в Валансэ. Но с начала настоящего столетия театр забыт, уснул как "Спящая красавица"; сейчас существует проект реставрации, который возможно даст новую жизнь театру.
Парк замка раскинулся на 54 гектарах, полностью закрытых стенами, возведенными для охраны испанских принцев.
Талейран содержал в прекрасном состоянии это родовое поместье. В 1806 году он распорядился придать парку "английский стиль", более живописный, чем стиль французских садов, с более свободной планировкой, с прихотливыми павильонами (турецкий павильон, казачий дом, египетский дворец) и китайским мостиком, архитектором которых был Ренар.
В парке можно увидеть еще сохранившийся ледник и в конце аллеи из хвойных деревьев - спрятавшуюся в зелени ротонду "Бальный зал".
Принцы отправились в обратный путь в Испанию 12 марта 1814 года. После Венского Конгресса, после падения Империи и возвращения Бурбонов князь Талейран возвратился в свои владения. Рядом с ним была жена его племянника, юная и прекрасная Доротея, будущая герцогиня де Дино, которая сопровождала его в Вену, где она вела его дом и оказывала ему существенную поддержку.
Талейран снова взял в свои руки управление имением Валансэ и начал там новые работы, чтобы стереть все следы от злополучного пребывания там испанских принцев.
Теперь в его жизнь вошла Доротея, которая распоряжалась в Валансэ как полноправная хозяйка.
Последние годы жизни Талейрана были заполнены общением с друзьями и приемами знаменитостей: герцог Поль де Ноай, своенравная княжна де Ливен, графиня Тышкевич, князь де Лаваль, Тьер, Бальзак, Деказес, герцог Орлеанский и множество других..., среди которых в сентябре 1834 года была и Жорж Санд, которая оставила нам пикантный рассказ о своем пребывании в Валансэ...
Талейран умер в Париже 17 мая 1838 года, и следуя его воле, тело его было доставлено в Валансэ, где оно покоится и поныне.
Замок и обширная территория Валансэ перешли по завещанию к его внучатому племяннику - Луи де Та-лейран-Перигор, герцогу де Валансэ; титул герцога он получил от Карла X.
С 1980 года замок является собственностью Департаментской ассоциации, которая несет ответственность за его сохранность.
