Многие архитектурные памятники Санкт-Петербурга были созданы еще во времена царствования Петра и Екатерины. Именно Екатерина II покровительствовала строительству многих храмов и дворцов. При ее царствовании мусульмане находились под ее протекторатом, поэтому могли свободно торговать внутри и за пределами страны. Этот факт привел к созданию довольно большой мусульманской общины. Хотя мусульман было довольно много, но они не имели мечети, поэтому богослужения проводились в частных домах. По инициативе представителя мусульманской общины Ахуда Атоулла Баязитова были предприняты действия по началу строительства первой в Петрограде мечети.

В 1881 году мусульмане Петербурга обратились к правительству с просьбой о решении их проблем. Но из-за определенных обстоятельств, вопрос остался нерешенным. Лишь в 1904 году, по прибытию посла из Бухары, мусульманам России было разрешено приобрети участок для строительства мечети. Сам Бухарский эмир выделил для строительства 312 тысяч рублей. На следующий год после приезда эмира был издан правительственный документ под названием «Манифест о веротерпимости». Этот документ давал право религиозным меньшинствам действовать в более широких масштабах. Но все же строительство храма по различным причинам неоднократно откладывалось. Правительство дало свое разрешение на строительство только в 1907 году. Для мечети был выбран участок в самом центре Петрограда между Заячьим островом и Троицкой площадью. В 1910 году в северную столицу вновь прибыл Бухарский эмир Сеид Мир-Алим, в его присутствии и был заложен первый камень первой мечети. Строительством храма руководил известный архитектор С.С. Кричинский, ему помогала группа архитекторов в составе Н.В. Васильева и А.И. Гогена.

Мечеть Петрограда была построена по типу мечети Тамерлана в Самарканде. Не дождавшись завершения строительства храма, зимой 1913 года, решено было провести первое богослужение. Во время первой церемонии присутствовал сам Бухарский эмир. Сразу же после завершения отделочных работ (конец 1914 года) в мечети начались регулярные богослужения, хотя окончательное строительство еще не было закончено. Строительство мечети завершилось в 1920 году.

Несмотря на восточный стиль постройки, храм прекрасно вписался в архитектуру Петербурга.