Документированная история феода Юссе начинается с XV века, когда Жан Бюэй, один из главных военачальников Карла VII возвел на месте древней крепости замок. В 1485 году замок купил Жак д'Эпине, королевский гофмейстер, и вместе с сыном Антуаном построил западный флигель и парадный вход с двумя башнями в восточном флигеле. Другой его сын, Шарль, построил к востоку от замка соборную церковь, а также отстроил ренессансный фасад и западное крыло во внутреннем дворе.
В 1659 году земли купил маркиз Бернен де Валентене. Он решил открыть к долине три флигеля и снес северный флигель, а также пристроил к северо-западной башне флигель в классическом стиле с тремя павильонами. Он же разбил сады, спускающиеся террасами к берегу Эндра. Впоследствии замков владели герцог Монбазонский, герцогиня де Дюра и графиня де ла Рошежаклин, которая передала замок своему племяннику, графу де Блакас, чьи потомки являются современными собственниками Юссе.
