Самый первый дом Педера Колбьёрнсена, к сожалению, не сохранился до наших дней: 4 июля 1716 г. он собственноручно поджёг его, подавая тем самым пример остальным жителям города. Так он надеялся изгнать шведов из родного Халдена.
Новый дом, согласно правилам того времени (а, возможно, и из финансовых соображений), Педер стал возводить, скорее всего, на месте старого, от которого остались лишь обгоревшие стены подвала. Новое здание было одним из самых примечательных в городе, о чём свидетельствует тот факт, что сам король Кристиан VI со своей супругой Софией Магдаленой предпочли именно его жилище, посещая Фредриксхалд в июне 1733 г.