Здание, использовавшееся для размещения Консерватории, было построено в 1770-1780-х годах, возможно, по проекту архит. В. И. Баженова для княгини Е. Р. Дашковой. На улицу здание выходило боковыми флигелями, не связанными с главным объемом. В композиции главного двухэтажного дома внимание привлекала полуротонда, окруженная колоннадой в центре фасада.
В 1894 г. это здание было почти полностью разобрано для сооружения нового, в состав которого вошли фасадная стена прежнего дома с ее характерной полуротондой и стены правого флигеля, соединенного в новой композиции с главным домом без разрывов. Новое здание строилось и оборудовалось на пожертвования музыкальной общественности и богатых промышленников — меломанов. В новом здании стало возможно не только слушать концерты в Большом и Малом залах, но и проводить учебные занятия.
В 1954 г. перед зданием установлен памятник П. И. Чайковскому (скульпт. В. Мухина и др. ), фигура которого размещена на фоне металлической решетки с нотными записями отрывков из его наиболее известных творений. В 1957 г. правый корпус перестроен для учебных целей; здесь также размещен «Белый» концертный зал.
