Как и говорит его название, Музей Оранжереи был устроен в бывшей Оранжерее. Начало работ в 1852 году взял на себя архитектор Фирмен, а продолжил и закончил работу его приемник Людовико Висконти.
Здание было предназначенно для укрытия в нем апельсиновых деревьев из сада Тюильри. Здание получило строгие формы как и подобает утилитарному но соответствующему классическому архитектурному стилю дворца Тюильри на площади Конкорд (почти полностью сгоревшему и разрушенному во время в дни Парижской коммуны в 1871 году).
Тоесть к 2014 году можно ждать открытия заново отстроенного дворца. Но вернемся к истории музея Оранжери, Третья Республика находит зданию различные применения, то его используют как склад различных материалов, то зал для проведения экзаменов или место для приюта мобилизованных солдат, музыкальных или патриотических праздников, промышленных, собачьих а также садоводческих выставок и только иногда для выставок картин. В 1921 году его отдали Администрации Изобразительных Искусств. Тогда было принято решение сделать рядом зал для игры в мяч. В это же время Клод Моне решает устроить в Оранжерее настенный художественный комплекс "Кувшинки" (Nympheas), над которым он уже работает с 1914 года. Помогает в работе Моне архитектор Камиль Лефевр, который все делает согласно указаниям Моне, в стиле который скромно назвали «декоративным вкусом искусства». После смерти художника (5 декабря 1926 года), восемь лет уходит на переговоры с властями чтобы продолжить расширение первоначального проекта. Первый этаж занимает Nympheas Моне, на втором Лефевр устраивает выставочную галерею. В течении около полвека публика спешит в Галерею Оранжереии на редкие выставки.
Второе важное событие окончательно формирует «личность» музея: это приобретение в 1959 и 1963 коллекции Жана Вальтера и Поля Гильома. Поль Гильом молодой торговец картинами, обещал себе в начале проекта видя невежество гражданских властей в вопросе о современном искусстве «снабдить» музей Парижа, и выполнил это. Вторая «рабочая компания» которой руководит архитектор Оливье Лохаль разделяет здание на 2 уровня (1960-1965). Это архитектурное решение было предложено вдовой Поля Гильома, Доменикой. Здание долно напоминать «резиденцию лишенную классических линий». Третья перестройка проходила с 1978 по 1984 годы. Это было необходимо для реконструкции и восстановления здания. Несмотря на неприязнь властей города, публика с большой радостью продолжает посещать этот маленький музей. Менее чем за 14 лет с 1984 до 1998 с 200.000 посетителей в год их число вырастает до 500.000 человек! С 2000 по 2006 работами по восстановлению музея руководит Пьер Жоргель вместе с архитектором Оливье Борше. На сегодняшний день в музее собраны лучшие произведения французских импрессионистов.