Малая Конюшенная улица появляется в Петербурге в 1730 году согласно плану городского развития. На углу при пересечении с Невским проспектом в 1737 году была построена церковь, а с 1739 года улица стала называться Большой Рождественской. Улица соединяла Невский проспект и Конюшенную площадь.

Согласно указу Анны Иоанновны в начале 30-х годов 18-го века улица была отдана финской и шведской общинам. Из-за возникших впоследствии разногласий между общинами участки улицы были поделены на две части. В 1769 году по проекту Ю. Фельтена шведская община строит здесь церковь Святой Екатерины, а для подхода к церкви был создан Шведский переулок, в результате чего был перекрыт выход к нашей площади. В 1776 году, в связи с постройкой Казанского собора, Рождественская церковь была демонтирована.
В 1865 году по проекту архитектора К. Андерсона было перестроено здание Шведской церкви и принадлежащие ей постройки. В начале 20-го века шведская община строит доходный дом, Екатерининский концертный зал согласно проекту Лидваля Ф. .
В 1918 году улицу переименовывают, она носит имя Софьи Перовской до 1992 года, когда улице возвращают историческое название. На средства шведской фирмы реконструируется дом №1 и там размещается Генеральное консульство Швеции. Начиная с  1997 года Малая Конюшенная становится пешеходной зоной, на улице укладывают брусчатку и плиты из гранита, устанавливают скамейки и разбивают клумбы. Как раз тогда  был установлен памятник Н.В. Гоголю и возвращен на прежнее место метеорологический павильон, который показывает метеорологические данные. В доме №4, где проживал М.М. Зощенко, открыт мемориальный музей-квартира. В бывшем Екатерининском зале в данное время располагается Дворец культуры молодежи под названием «На Малой Конюшенной».