Особняк Рошгюд находится напротив входа в одноименный парк, в 650 метрах к востоку от железнодорожного вокзала Альби. Он был построен в конце 17 века на месте средневековых погребов. В 18 веке особняк вместе с парком приобрел французский адмирал и политический деятель маркиз Анри Пашаль де Рошгюд (1741-1834), в честь которого был назван и особняк, и парк. Земляк графа де Лаперуза и друг еще одного известного мореплавателя Бугенвиля, маркиз де Рошгюд и сам принимал участие в морских экспедициях. Кроме того, в годы Великой французской революции он трижды выступал депутатом от Альби.
В 1826 году маркиз завещал свой дом вместе с библиотекой родному городу, но завещание вступило в силу лишь после смерти его племянницы в 1884 году. В 1908 году в особняке открылась муниципальная библиотека Альби, в которую вошли библиотечные коллекции, конфискованные у их владельцев – преимущественно различных религиозных организаций – в период Великой французской революции. В фондах библиотеки насчитывалось более 300 тысяч наименований, в том числе 300 манускриптов и 22 тысячи томов, изданных ранее 1810 года.
Несколько лет назад большой зал бывшей библиотеки особняка Рошгюд площадью 180 квадратных метров был отреставрирован, и в нем стали регулярно проводить временные выставки.