В 1050 году Вильгельм, герцог Нормандии, женился на своей кузине Матильде Фландрской. Римский папа Лев IX резко возражал против этого брака, ведь Вильгельм и Матильда были близкими родственниками. Чтобы получить благословение церкви на этот брак и во искупление кровосмесительного греха, каждый из супругов поклялся построить аббатство в городе Кан. Так в Кане появились мужское (Abbaye-aux-Hommes) и женское (Abbaye-aux-Dames) аббатства. Аббатства расположены к востоку (женское) и западу (мужское) от замка, примерно на одинаковом расстоянии и являются самыми известными романскими зданиями в Нормандии.
Строительство аббатства начинается в 1063 г. и завершается в 1077 г. Причиной столь быстрого для того времени строительства стали военные успехи в Англии, позволившие получить дополнительные средства и наличие неподалеку от Кана карьеров известняка («канского камня»). Аббатство было посвящено святому Стефан (Этьен).