Госпиталь святого Иакова располагается поблизости от госпиталя святого Иосифа де ла Грав – на левом берегу Гаронны, примерно в километре к юго-западу от базилики святого Сатурнина. Судя по историческим источникам, до него на этом месте располагался госпиталь Богоматери Дорад, который не сохранился до наших дней.
Госпиталь святого Иакова был сооружен в 1227 году и первоначально назывался госпиталь Нувель или Новель (благодаря фамилии архитекторов, построивших его, - братьев Роже и Бертрана Новело). В течение следующих нескольких веков он неоднократно расширялся, пока не получил в конце концов в 1554 году статус центральной городской больницы. После революции госпиталь из церковного учреждения, контролируемого архиепископом, становится полностью светским, однако в конце 18 века из-за идеологического конфликта власти с директоратом госпиталя он лишается государственной поддержки и его содержание оплачивается только из муниципального бюджета. Тем не менее, благодаря благотворительным дарам (один из которых совершил даже герцог Веллингтон, занявший Тулузу в 1813 году) в течение 19 века госпиталь продолжает развиваться и расширять свои помещения.