Родоначальник фамилии Алексей Григорьевич Бобринский (1762-1813) - побочный сын императрицы Екатерины II и графа Г.Г.Орлова. Происхождение его скрывалось, и в детстве он считался сыном камердинера императрицы Екатерины II В.А.Шкурина и воспитывался с его сыновьями. После воцарения императора Павла I Алексей Бобринский получил приказание явиться ко двору. Император назвал его «братом», возвел в графское достоинство, назначил генерал-майором, Почетным опекуном и управляющим Санкт-Петербургским воспитательным домом. Дворец на Галерной улице стал подарком императрицы Марии Федоровны графу А.Г.Бобринскому. Семейство Бобринских владело дворцом с 1797 по 1917 год.
Дворец находится в одном из старейших районов города, который уже в конце XVIII века считался престижным. В 1790 году здание было куплено известным сенатором Петром Васильевичем Мятлевым, для которого оно было перестроено итальянским архитектором Луиджи Руска. Это первая самостоятельная работа зодчего, крупного представителя неоклассицизма, ставшего впоследствии придворным архитектором. Внешний вид дворца с тех пор не претерпел серьезных изменений. В1796 году два здания (№58 и №60 по Галерной улице), которые занимает дворец, были объединены. В 1797 году оба дома перешли в собственность графа А.Г.Бобринского.
В XIX веке дворец был одним из самых знаменитых центров светской и культурной жизни Петербурга. Салон графинь Бобринских привлекал дипломатов и литераторов, его посещали императоры Александр I, Николай I, а на балах танцевала «вся столица».
Анна Владимировна Бобринская (1769-1846), супруга А.Г.Бобринского, урожденная баронесса Унгерн-Штернберг, расширила дворец, отделала по последней моде его интерьеры и основала салон, в котором бывали В.А.Жуковский, П.А.Вяземский, К.Нессельроде, А.М.Горчаков. Частым гостем А.В.Бобринской был А.С.Пушкин.
Старший сын Алексея Григорьевича Алексей Алексеевич Бобринский (1800-1868) и его супруга графиня Софья Александровна, урожденная Самойлова (1799-1866), продолжили традиции дома. На Галерной, 60 собирался литературный кружок, участниками которого были А.С.Пушкин, А.М.Горчаков - приятели хозяина, В.А.Жуковский - поклонник графини, посвятивший ей ряд своих произведений.
В 1822-1825 годах дворец был перестроен внутри архитектором А. А. Михайловым 2-м, создавшим со стороны сада анфиладу парадных залов. Среди других известных работ архитектора: Российская академия наук, церковь святой великомученицы Екатерины, вестибюль Академии художеств, интерьеры Юсуповского дворца на Мойке.
Последний хозяин усадьбы из рода Бобринских - граф Алексей Александрович Бобринский (1852-1927), историк, археолог, сенатор, предводитель дворянства Санкт-Петербургской думы, вице-президент Академии художеств (1889-1890), с 1896 года - председатель Археологической комиссии.
В годы Первой мировой войны хозяева разместили во дворце военный госпиталь. В 1919 году семья Бобринских эмигрировала во Францию.
До настоящего времени частично или целиком сохранились интерьеры 15 помещений. Это анфилада комнат выходящих на Ново-Адмиралтейский канал и комнаты, примыкающие к ней. Весьма высока вероятность того, что прекрасно сохранившиеся росписи потолков были выполнены популярнейшим мастером того времени - Джованни Батиста Скотти.
За время владения дворцом графы Бобринские собрали в своем доме ценную библиотеку в 20 тысяч томов, где хранились, в частности, и рукописи В.А.Жуковского. Гостиные и кабинеты дворца были украшены великолепной коллекцией бронзы - около 500 предметов, десятками шпалер и ковров (в комнатах до сих пор сохранились крепления для их развески). Собрания фарфора и серебра выставлялись в специальных витринах, так же как и «ценные древности» - монеты, лиможские эмали, драгоценности, табакерки. Стены украшали портреты кисти Д.Левицкого, Ж.-Б.Греза, картины С.Щедрина и др. На уникальность интерьеров и художественного убранства дворца указывал А.Н.Бенуа. И.А.Фомин при постройке в 1910-х годах неоклассических усадеб брал за образец отделку дворца графов Бобринских.
К числу наиболее интересных по своей отделке помещений относятся парадная лестница, так называемые Красная гостиная, Белый и Танцевальный залы. Лестница отличается крайней строгостью и простотой отделки: стены скупо декорированы ионическими пилястрами. В её решении был повторен прием, ранее использованный А. Н. Воронихиным в Минеральном кабинете Строгановского дворца. Перекрытие над лестницей прорезано круглым в плане отверстием, сквозь которое видны стены, завершенные карнизом с модульонами, легкое металлическое ограждение обходной галереи верхнего этажа, а также купол с росписью.
В Белом зале сохранилась превосходная роспись, исполненная, по-видимому, Д. Скотти. В Танцевальном зале также имеется роспись первой четверти XIX века, выполненная, вероятно, тем же мастером. Аналогичные росписи можно видеть и в других помещениях дворца.
В 1883 году на одноэтажных каменных флигелях по сторонам главного двора был надстроен второй этаж.
13 декабря 2001 года Федеральной комиссией по Управлению государственной собственностью дворец Бобринских был передан Санкт-Петербургскому государственному университету для Смольного института свободных искусств и наук. В настоящее время в здании ведутся реставрационные работы. В рамках проекта реконструкции дворца предусмотрено сохранение фасадов, конфигурации кровель, сводчатых перекрытий первого этажа, а также реставрация уцелевшей декоративной отделки парадных помещений, металлической и кирпичной оград. Парадные помещения главного корпуса будут приспособлены под читальные залы библиотеки, конференц-центр и несколько больших аудиторий.
