Коллеж Генриха IV находится чуть менее чем в 1 километре к западу от кафедрального собора Пуатье.
Коллеж был основан в 1608 году орденом иезуитов. В начале 17 века – после окончания затяжных гугенотских войн и издания компромиссного Нантского эдикта о равноправии католиков и гугенотов – в Пуатье, оплоте католичества, настали спокойные времена. В городе начали обосновываться многочисленные ордена, в том числе, здесь появилось сообщество иезуитов, которые учредили т.н. королевский коллеж, впоследствии переименованный в коллеж Генриха IV.