Как и другие дворцы, Розерсберг пережил немало перестроек и реконструкций. Первоначально он не был королевской резиденцией. Его основатель - государственный казначей Габриэль Бенгтссон Оксенстьерна. Свое название дворец ведет от фамилии Тре Розор - «Три Розы»: к этой семье принадлежала мать владельца.
Несмотря на то, что дворец был выстроен в 1634-38 гг., его облик носил ренессансный характер. Уже во второй половине века пышный голландско-немецкий стиль дворца был сочтен старомодным, и наследник Оксенстьерны поручил архитектору Никодемусу Тессину Младшему переделать его в более современном духе.
В 1757 г. умер последний владелец дворца, барон Эрланд Броман. Розерсберг оказался государственной собственностью и был предоставлен молодому герцогу Карлу Зодерманландскому - будущему королю Карлу XIII.
С этого момента Розерсберг стал королевской резиденцией и оставался ею болеее ста лет - до 1860 г.
В течение еще ста лет во дворце действовала стрелковая школа. В 1960 г. территории и некоторые помещения Розерсберга были переданы организации гражданской обороны, а в настоящее время используются национальной спасательной службой.
В Розерсберге развернута экспозиция интерьеров XVIII-XIX в. Особенную ценность представляют Оранжевая и Красная комнаты, отделанные в конце XVIII в., а спальню Карла XIV Йохана причисляют к прекраснейшим образцам шведского дизайна начала XIX в.
