Сам средневековый город построен в основном по концентрическому плану с двумя внешними стенами, над которыми возвышаются башни и барбаканы, призванные отражать атаку стенобитных орудий. К замку ведет откидной мост над рвом. Стены состоят из башен, построенных примерно в ту же эпоху. Одна их часть римская, причем значительно отличается от средневековых стен из красного кирпича. В 13 в. одна из этих башен служила резиденцией органу католической инквизиции. Ее до сих пор называют "Инквизиторской башней". Сегодня в ней располагается "Музей пыток", в котором выставлены оригинальные пыточные приспособления, применяемые инквизиторами.
Во времена правления Наполеона и Реставрации Каркассон был исключен из перечня официальных крепостей, а средневековый город настолько обветшал, что правительство Франции решило его снести. Решение было принято в 1849 г. и вызвало волну протестов. Мэр Каркассона, ценитель старины Жан-Пьер Кро-Мэревьей и писатель Проспер Мериме, первый инспектор по памятникам древности, начали кампанию по сохранению крепости в качестве памятника истории. Позже архитектор Ожен Вьоле-ле-Дюк, уже занимавшийся реставрацией базилики Сен-Назар, приступил к реставрации средневекового города.
При жизни Виолле-ле-Дюка его проект реставрации подвергался сильной критике. Закончив работу на севере Франции, он сделал ошибку, используя шифер и придав крышам остроконечную форму, в то время как здесь традиционно покрывают кровли черепицей и делают их более плоскими, так как снега здесь не выпадает. Однако работа Виолле-ле-Дюка по восстановлению Каркассона считается гениальной, хотя проект не отличается строгой исторической достоверностью.
Укрепление состоит из двойного кольца бастионов и 53 башен.
