В скромном замке Берг на озере Штарнберг Людвиг провел лучшие дни своей жизни. Когда-то в период счастливой юности Людвиг устраивал на крыше замка бассейн с искусственной волной. На лодке в костюме Лоэнгрина он покачивался под звездами на голубой волне, подкрашенной медным купоросом. Здесь он вдохновенно общался с Вагнером. Композитор останавливался здесь во время своего первого приезда в Мюнхен... Но замок получил печальную известность по другому поводу: Берг выбрали местом заточения короля, когда правительство объявило его недееспособным. 13 июня 1886 г. король Людвиг II и врач Гудден были найдены мертвым в водах Штарнбергского озера. Сейчас на берегу озера стоит Крест, указывающий то место, где были найдены тела, а неподалеку в 1890 г. была построена Часовня - мемориал Людвигу II.
Замок был построен в 1640 году на месте бывшего господского дома по образцу итальянской виллы. Изначально это было окруженное канавой барочное здание с расписанными фасадами. В 1669 году замок перешел во владение династии Виттельсбахов. Использовался он в основном как охотничий замок. Король Максимилиан I Йозеф в 1807/11 гг. превратил одичавшие к тому времени парки вокруг замка в английский сад (канава в то время была уже засыпана). Однако король не питал большого интереса к замку.
Во время войны он сильно пострадал и в 1949/51 гг. была проведена реконструкция. Боковые башни были снесены и замок приобрел свой первоначальный вид. Внутреннее обновление производилось уже в соответствии с современными техническими возможностями. Неизменной осталась только заказанная когда-то Людвигом II замковая капелла.
Сейчас замок находится в частной собственности и закрыт для посетителей. Ворота скрывают вид фасада, зимой замок можно увидеть с озера, а летом он скрыт за кронами деревьев. Так что увидеть его практически невозможно.
