Участок дома № 11 по Большой Морской улице в середине XVIII века был занят временным дворцом императрицы Елизаветы Петровны. После разборки дворца здесь оставались каменная кухня и Тронный зал. Тронный зал был отдан под мастерскую скульптору Э. Фальконе для работы над памятником Петру I — будущему «Медному всаднику».
Фальконе поселился здесь в 1766 году. Под жильё ему перестроили кухонный корпус бывшего дворца. Во дворе был устроен помост, на котором скульптор наблюдал всадника, поднимающего коня на дыбы. В 1773 году здесь скульптора навещал его друг французский философ Д. Дидро, приехавший в Россию по приглашению Екатерины II. Покинул этот дом Фальконе в 1778 году, уехав во Францию.
После отъезда француза на этом участке располагался склад мрамора для постройки рядом здания, так и не возведённого. В 1801 году участком стал владеть купец, прусский консул в Петербурге Масс. При нём здесь был построен жилой двухэтажный дом. В 1822 году наследники Масса поделили участок на две части, сторона примыкающая к Большой Морской улице в 1836 году была продана архитектору Полю Жако.
В 1837–1838 годах Жако построил здесь собственное четырёхэтажное здание, сохранившее свой облик по настоящее время. Для устройства витрин первого этажа были применены железные балки — новшество в строительном деле Петербурга. В 1842 году здесь открылась мастерская, положившая начало фирме Фаберже. В 1860х годах в доме Жако жил обер-гофмаршал граф Иван Матвеевич Толстой, в разное время бывший сенатором, министром почт и телеграфов, членом Государственного совета. Наследникам Жако дом принадлежал до 1917 года.
В 1930х годах в доме № 11 со стороны Кирпичного переулка находился Дом художников.
