Жозеф Мюллер родился в 1887 году в семье среднего класса в городе Золотурне, в немецко-говорящей части Швейцарии. Ничто тогда не предвещало, что он станет одним из величайших коллекционеров искусства той эпохи и всех времен. В возрасте 10 лет он потерял родителей и был воспитан гувернанткой. Мюллер часто посещал дом одного из своих школьных друзей, родители которого были поклонниками современного искусства и в 1906 году они приобрели картину Пикассо разового периода.
Позднее Мюллер приобрел эту картину, «Портрет женщины в профиль». Начиная с 20-летнего возраста, Мюллер зарабатывал на жизнь перепродажей картин. Заработав достаточно, чтобы уехать из Швейцарии он перебирается в Париж, где знакомится с торговцем картинами Амбруазом Воллардом. Действуя по его совету, Мюллер приобрел картину Сезана «Портрет садовника Вольера», законченную Сезаном в 1905 году. Преодолевая сопутствующие коллекционеру трудности, Жозеф Мюллер к 1918 году собрал небольшую коллекцию работ. Коллекция включала в себя 7 работ Сезанна, 5 Матисса и 5 Ренуара, а также работы Пикассо, Брака и других знаменитых и популярных мастеров. В 1935 году в Нью-Йоркском музее современного искусство была организована большая выставка, которая называлась «Африканское Негритянское Искусство».
Все выставленные экспонаты принадлежали европейским коллекционерам. Среди них был поэт Тристан Зара, обладателя прекрасной Габонской маски, которую впоследствии приобрел Музей Барбье-Мюллер. В возрасте 70 лет в 1957 году Мюллер решил показать публике свою Африканскую коллекцию, в музее своего родного города Золотурна, где он поселился после войны. Муж дочери Мюллера, Моник, Жан-Поль Барбье разделял страсть Мюллера к собиранию «примитивного» искусства.
