Высокая скала на слиянии рек Луары и Туэ издревле привлекала внимание своим выгодным стратегическим положением. Сначала здесь построил фортификационное сооружение граф Блуа Тибо «Мошенник», у которого его отобрал Фульк Нерра. Затем им завладел Плантагенет, построивший здесь новую крепость, от которой ныне остались лишь руины. Наконец, в 1203 году им завладел всесильный король Филипп-Август, навсегда присоединивший замок Сомюр к владениям короны.
К 1230 году здесь уже стоял мощный укреплённый замок, но его военная карьера оказалась недолгой. Как только Святой Людовик построил крепость в Анжере, она стала и королевской резиденцией, и главным форпостом.
Впоследствии судьба не была благосклонна к замку Сомюр. Когда в 1589 году король Наваррский вступил в замок, он застал его заброшенным и дал своему наместнику указание укрепить его и отремонтировать. Именно тогда была возведена зубчатая крепостная стена, которую мы можем видеть и сейчас.
Позже замок Сомюр стал использоваться как тюрьма для людей благородного звания. Например, здесь в заключении находились маркиз де Сад, адмирал Кергелен и многие другие известные личности.
В XIX веке замок Сомюр вычеркнули из списка фортификационных сооружений военного назначения и причислили к историческим памятникам. В 1906 году началась масштабная реставрация замка и раскопки на его территории. С 1912 года здесь расположены Муниципальный музей и Конный музей.