На окраине старинной Москвы, за Земляным валом, в пойме реки Яузы, где процветала Немецкая слобода, находилось поле, которое засеивали горохом. В памяти москвичей оно долгое время оставалось в названии церкви Вознесения Христова – «что на Гороховом поле». Поле пересекали две тропинки, со временем ставшие городскими проездами, один из которых долгое время назывался улица Гороховое Поле, а другой – Гороховским переулком. Улица была переименована в 1939 году в память об архитекторе М. Ф. Казакова к 200-летию со дня его рождения, и теперь носит название улица Казакова.
Гороховский переулок отходит от Старой Басманной, в самом начале переулка расположился замечательный памятник русской архитектуры - бывший демидовский дворец (№4). Здесь в конце XVIII века находилась немалая усадьба богатого заводчика Ивана Никитича Демидова, с парками, прудом с круглым островом посреди него, садом с оранжереями и теплицами.
Еще при жизни заводчика усадьба перешла к его сыну Ивану, который не был заинтересован в семейной традиции и в 1789 году продает заводы отца. А сам начинает строить роскошную резиденцию из унаследованной усадьбы. Новый дом возводится по проекту знаменитого архитектора Матвея Казакова в 1789-1791 годах. Казаковский дворец несколько раз перестраивался и снаружи и внутри, к счастью сохранились и отреставрированы уникальные интерьеры парадной анфилады – Голубая с великолепной росписью потолка, Малиновая и Изумрудные гостиные, «золотые комнаты», названные так благодаря деревянной резьбе, покрытой тонким слоем листового золота.
От Ивана Ивановича Демидова усадьба переходит к его сыну Николаю, который с успехом прошел несколько компаний и при императоре Николае I получил чин генерала от инфантерии (пехота, сухопутные войска). После его смерти переходит к другим владельцам, из которых получил особенную известность богач-раскольник И.А. Быков, заперший дом и живший каморке привратника у ворот. Так он и прожил затворником много лет, и только раз в году, устраивал сам себе редкое развлечение: брал ключ, отпирал парадные двери, поднимался по мраморной лестнице и молча, обходил роскошные залы и, кончив обход, запирал их снова до следующего года. После него дворец перешел к его сыну, который в 1858 году продал всю усадьбу Межевому ведомству для школы межевых топографов.
С 1867 году здесь помещался Константиновский межевой институт, переехавший из куракинского дворца на Старой Басманной. Институт пользовался большой известностью в России. Теперь в бывшем демидовском дворце находится Университет инженеров геодезии, аэрофотосъемки и картографии, созданный в 1930 году на базе геодезического факультета Межевого института, который был основан в 1779 году и именно эта дата изображена на здании института.
В Гороховском переулке, на его правой стороне находится здание известной в Москве частной женской гимназии, принадлежащей В.Н. фон Дервиз. В этой гимназии училась известная характерная актриса Рина Зеленая и поэтесса М.И. Цветаева. На другой стороне переулка в здании с элементами готической архитектуры ранее находился детский приют Евангелического попечительства о бедных женщинах и детях ( №17), дату окончания строительств которого - «1889» - можно увидеть на флюгере, помещенном на башенке.
