Одними из первых улиц новорожденного Петербурга были Большая и Малая Морская улицы, на которых жили моряки, служащие Адмиралтейства и обычные рабочие.

В начале 18-го века началась массовая застройка Морских улиц и прокладка дорог, выполняемая по проекту архитектора Гербеля. Для создания нынешнего направления Большой Морской улицы было снесено около тридцати дворов. В это же время завершилось строительство Мытного двора, который превратился в одно из самых популярных мест торговли, соперничающее даже с Гостиным двором.

В 30-е годы 18-го столетия большинство построек на Большой Морской улице, включая и Мытый двор, сгорели при сильном пожаре. Было принято решение не восстанавливать рынок, а построить небольшие торговые ряды и застроить этот район каменными двухэтажными зданиями.

В середине 18-го века был сооружен временный Зимний дворец для императрицы Елизаветы по проекту архитектора Ф.Б. Растрелли, где был размещен императорский двор во время ремонта главного Зимнего дворца. В 60-е года на Большой Морской улице появились дома М.В. Ломоносова, архитектора Ж.Б. Валлен-Деламот и других известных личностей.

В начале 19-го столетия Большая Морская улица перенесла ряд видоизменений и перепланировки. Согласно проекту К.И. Росси были снесены все строения в начале улицы и там построены корпуса Главного Штаба, а также улица стала проходить через арку сразу к центру Зимнего дворца.

Постепенно этот район превращался во все более престижный. Здесь стали селиться купцы, банкиры, аристократы, появилось большое количество лавок, продающих ювелирные украшения, в результате чего улицу стали называть Бриллиантовой. В 20-е годы 20-го века здесь появилось освещение - первые газовые фонари, а в дальнейшем электрические.

После революции Большая Морская улица получила название улицы Герцена, но в 90-х годах она вновь приобрела свое историческое название.