Малая Конюшенная улица появилась в 1730-х годах одновременно с Большой Конюшенной улицей по планам Комиссии о Санкт-Петербургском строении. Правда с 1739 года она называлась Большой Рождественской, благодаря церкви, построенной в 1733-1737 годах на её углу и Невского проспекта. Изначально эта улица, как и Большая Конюшенная, соединяла Конюшенную площадь и Невский проспект.
В 1733 году участок между двором Придворно-Конюшенного ведомства и немецкой кирхой по указу императрицы Анны Иоанновны был отдан шведской и финской общине. В 1734 году здесь освятили деревянную церковь Святой Анны, при ней был построен дом пастора. В 1745 году из-за разногласий между финнами и шведами участок был поделён на две части. Сторона по Большой Рождественской улице досталась шведской общине.
В 1767-1769 годах по проекту Ю. М. Фельтена шведская община построила церковь Святой Екатерины. Для подхода к ней был проложен переулок. На его углу в 1771 году было построено жилое здание, в 1792-1793 годах вдоль Большой Рождественской улицы ещё два, в которых поселились священники и служители, часть помещений сдавалась в наём.
Перед строительством Казанского собора Рождественскую церковь разобрали и в 1776 году улицу называют по аналогии с соседней - Малая Конюшенная.
В 1818-1819 годах архитектором А. Е. Штаубертом построен дом №5. Переулок у церкви Святой Екатерины в 1821 году был назван 1-м Шведским, 2-м стал современный Чебоксарский переулок.
В 1840х годах по проекту А. И. Буржуа было построено здание госпиталя Придворно-конюшенного ведомства, замкнувшего перспективу Малой Конюшенной улицы (Шведский пер., 2). В 1846 году построен дом №6. В 1862-1865 годах по проекту К. К. Андерсона построено новое здание Шведской церкви. В 1862-1863 годах архитектор перестроил и расширил принадлежащие церкви здания в Шведском переулке. В 1876-1877 годах после перестройки архитектором Ю. Ф. Бруни существующий сейчас облик принял дом №5. После перестройки сюда переехала женская гимназия при церкви Святого Петра. В 1887 году 2-й Шведский переулок стал называться Чебоксарским.
В 1903-1905 годах по проекту Ф. И. Лидваля шведская община построила доходный дом (дом №3) и Екатерининский концертный зал.
В 1913 году у выхода улицы к Невскому проспекту по проекту Н. Е. Лансере был установлен метеорологический павильон, позже перенесённый на Елагин остров. В 1918 году Малую Конюшенную улицу переименовывают в улицу Софьи Перовской. В 1920-1930 годах Екатерининский зал занимал Клуб им. В. И. Ленина, после Великой Отечественной войны - Дом культуры профтехобразования Ленинграда и Ленинградской области. В доме №4/2 в 1935-1958 годах жил М. М. Зощенко, сейчас в этом доме находится его мемориальный музей-квартира.
В 1992 году улице вернули историческое название. В 1996-1997 годах на средства шведской фирмы "Сканска" дом №1 был реконструирован, здесь разместился офисный центр, Генеральное консульство Швеции. В 1997 году малоудобную для проезда улицу первой в Санкт-Петербурге сделали пешеходной зоной. Она стала одной из самых красивых пешеходных зон в России, вместо асфальта здесь уложили брусчатку и гранитные плиты, посадили деревья, установили скамейки и клумбы. В это же время на Малой Конюшенной установили памятник Н. В. Гоголю (скульптор М. В. Белов, архитектор В. С. Васильковский), и находившийся здесь ранее метеорологический павильон. Он показывает время, атмосферное давление и температуру воздуха.
При проектировании пешеходной зоны предполагалось, что улица станет подходом к развлекательному центру, который намечалось построить на месте таксомоторного парка (Конюшенная пл., 2). В настоящее время к строительству развлекательного центра не приступили.
На углу со Шведским переулком в 1998 году установили памятник петербургскому городовому, работы А. С. Чаркина. Прохожим черты лица городового часто напоминают лицо известного актёра и режиссёра Н. С. Михалкова.
В Екатерининском зале в настоящее время работает Дворец культуры молодёжи "На Малой Конюшенной".