Галло-римские укрепления Буржа датируются примерно серединой 4 века, их построили для защиты от многочисленных вторжений варварских племён. Крепостные стены были возведены очень быстро, для строительства использовали части римских монументов.
Город был укрыт за мощной стеной с четырьмя воротами: Лионскими, Турскими, Горден и святого Аманда. Толщина стен варьировалась от 2,5 до 30 метров, снаружи укрепления окружало дополнительное кольцо из 46 башен. Площадь внутри крепостной стены составляла 25 гектаров. Со временем население увеличивалось, люди начали заселять территории, находящиеся вне древних стен. Город поделился на две части: в верхней части, за крепостными стенами, жили знатные граждане, в нижней части – все остальные. Порой новые постройки возникали прямо на остатках укреплений, например, часть кафедрального собора святого Стефана, дворцы Жака Кёра и архиепископов и многие другие. В наше время можно увидеть то, что сохранилось от укреплений: часть галло-римской стены встроена в ограду казармы Конде; на территории кафедрального собора и возле здания мэрии есть остатки древней башни и руины стен.