Участок дома № 16 по 5-й линии и дома № 17 по Большому проспекту Васильевского острова изначально являлись единым владением. На углу двух улиц находилось здание, в котором в середине XVIII века жил учёный Г.В. Рихман.
15 января 1858 года в угловом доме педагогом Эмилией Павловной Шаффе была открыта частная женская школа. В 1880-х годах она стала владелицей всего участка, частное учебное заведение приобрело статус гимназии. К этому времени старый дом перестал соответствовать требованиям учебного заведения, было решено строить новое специальное здание.
Женская гимназия Шаффе стала одной из самых известных в Санкт-Петербурге. Здесь учились дочери Д.И. Менделеева (Любовь и Мария), архитектора Бенуа.
Работы по созданию такого дома начались только после смерти основательницы гимназии в 1906 году. Её приёмный сын и наследник инженер-электрик Л.И. Шпергазе заказал архитектору К.К. Шмидту проект здания, что было сделано к декабрю того же 1906 года. Здание гимназии к 1907 году своим лицевым фасадом расположилось на 5-й линии Васильевского острова. На этой стороне дома находятся 6 классов, каждый из которых отмечен тремя окнами. Такой приём размещения тройных окон впоследствии повторялся при строительстве школ в 1920—1930-х годах.
В первом этаже находится вестибюль. Изначально его украшал витраж, изображающий хоровод девушек. К настоящему времени витраж не сохранился. Осенью 1918 года женская гимназия была объединена с мужской — гимназией Карла Мая.
В разное время учениками работающего здесь учебного заведения являлись поэт Вадим Шефнер, композитор Андрей Петров и артист Георгий Жжёнов.
В 1978–1979 годах во дворе гимназии по проекту П.М. Харитонова был построен крытый бассейн. Сейчас в доме № 16 по 5-й линии Васильевского острова работают школа № 21 и лингвистический центр.