Особняк герцога де Ледигьер находится в километре к северо-востоку от железнодорожного вокзала, на улице rue Hector Berlioz, напротив городского парка. Он был построен по заказу герцога в 1602 году на месте бывшего казначейства дофина. Стоявшая неподалеку так называемая Башня казначейства, была включена в состав нового здания. Фундамент этой башни относится к галло-римской эпохе (приблизительно 3 век), поскольку башня входила в цепь оборонительных укреплений древнего Гренобля. В 1268 году дофин Гиг VI купил башню, а с 1349 в ней разместили казну дофинов. Будущий король Людовик XI жил в башне с 1446 года. Останавливались в ней, бывая в Гренобле, и другие монаршие особы, в том числе королева Екатерина Медичи летом 1579 года.
Особняк герцога де Ледигьер был пристроен к башне: новое здание с темной покатой крышей резко выделялось на фоне старого города, здания которого были покрыты римской красной черепицей.
Со времен наполеоновской империи и вплоть до 1867 года в доме герцога де Ледигьер размещалась префектура и городская ратуша. В июле 1809 года в здании несколько дней находился папа Пий VII, которого Наполеон вывез из Рима. В 1860 году император Наполеон III с супругой Евгенией останавливались в особняке в ходе официального визита в Гренобль по поводу присоединения к Франции Савойи.
В 1970 году в здании открыли музей Стендаля. Однако в 2006 году музей закрыли и отдали здание организации, которая занимается расширением международных связей Гренобля.
В юго-восточном углу городского парка, неподалеку от площади place Grenette, сохранились терраса и виноградная беседка, оставшиеся от дома деда Стендаля.