Церковь святого Петра располагается в западной части исторического центра Буржа, примерно в 200 м к западу от Кафедрального собора.
Согласно легенде 16 века, появление в Бурже церкви святого Петра напрямую связано с одним из чудес святого Антония Падуанского. Примерно в 1225 году святой посещал Бурж и произносил проповедь, обличая еретиков; во время проповеди возник спор с одним из жителей, неким Захарией Гийаром, который не верил в присутствие Христа в Пресвятых Дарах и считал, что христианину не стоит благоговеть перед ними. Антоний сказал, что если Господу будет угодно, то даже мул Захарии преклонится перед Причастием. Чтобы проверить это, решили несколько дней не кормить животное, а потом предложить ему на выбор Святое Причастие и мешок овса. В назначенный час Гийар привёл голодного мула к святому Антонию, и мул, отвернувшись от овса, преклонил колени перед Святыми Дарами. Потрясённый этим чудом Гийар пожертвовал все свои деньги на строительство храма, и уже в 1230 году буржский архиепископ Симон де Сюлли освятил церковь святого Петра, воздвигнутую за пределами крепостных стен.
Здесь погребён известный юрист своего времени, профессор буржского университета и владелец одного из красивых особняков города - Жак Кюжа. Церковь хранит воспоминания и о чуде святого Антония: здесь можно увидеть камень и картину с изображениями коленопреклонённого мула .