Госпиталь святого Иакова расположен в историческом центре Безансона – примерно в 1,5 километрах к северо-западу от кафедрального собора святого Иоанна Богослова. Госпиталь был учрежден в 1182 канониками приходской церкви Марии Магдалины для обеспечения ночлега паломникам, направляющимся в Рим, в Иерусалим и в Испанию – к мощам святого Иакова. Тремя столетиями позже, в 1436 году здесь начинают лечить больных и принимать обездоленных и сирот.
Массивное П-образное здание, которое мы видим сейчас, было построено во второй половине 17 века по инициативе архиепископа Безансона Антуана-Пьера Граммона. Часовня госпиталя была построена в 18 веке архитектором Николя Николем наподобие часовни парижского Коллежа четырех наций. Во дворе госпиталя стоит крупная статуя 18 века, изображающая апостола Иакова. Также в госпитале находится одна из самых богатых во Франции коллекций старинных аптекарских принадлежностей и фаянсовой посуды 17 и 18 веков.