Изначально этот дворец, построенный в 1935 году, был резиденцией Ю Тон Сэна, который построил свое состояние на добыче олова.
Во времена Второй Мировой Войны здесь размещалось британское военное министерство, а позднее штаб японской армии. В хрониках этого дворца сохранились записи о заседаниях малазийского парламента и церемониях коронации нескольких малазийских королей.
