Строительство дворца Холирудхаус (Дом Святого Креста) было начато в 1498 г. Джеймсом IV рядом с аббатством XII века (руины которого сохранились до сих пор).
В этом дворце большую часть жизни прожила Мария Стюарт, а в 1745 году английский принц Чарли дал бал в честь взятия им Эдинбурга.
В музее, теперь размещенном во дворце, - прекрасные коллекции старинной мебели, драгоценностей и портреты более 100 шотландских королей. Дворец поставлен точно на линии, соединяющей Кэлтон Хилл с Троном Артура (Arthur Seat) - вершиной самого высокого (250 м) из семи холмов, на которых расположен Эдинбург.