В конце 19 века в Санкт - Петербурге была многонациональная община католиков. Французы – католики решили обустроить небольшую часовню в честь Девы Марии Непорочного Зачатия. Святыней этой часовни была статуя Девы Марии, которую привезли из Лурда. К тому времени культ Святой Девы Лурдской был распространен по всему католическому миру. Это произошло после того, как было явление Божьей Матери в Лурде в 1858 году. И в канун юбилея, 50 лет явления Девы Марии в Лурде, община французов- католиков попросила правительство разрешить возвести еще один храм в честь Божьей Матери. В 1898 году царь Николай второй разрешил постройку и содержание храма за счет общины. Поддержали общину и Могилёвский митрополит Симон Козловский и посол Франции в Российской империи маркиз де Монтобелло.
После того, как разрешение было получено, начали искать место под постройку и собирать пожертвования среди католиков-французов. В 1900 году участок был найден по адресу Литейная часть, 2-ой участок по Ковенскому переулку под № 299 и начато строительство небольшой часовни.
Проект часовни создал французский инженер и член общины Оскар Тибо-Бриньоль, и в конце 1900 года часовня освящена, и образована в новый католический приход, который зарегистрирован 1 января 1901 года.
Проект каменной церкви Божьей Матери создал архитектор Леонтий Николаевич Бенуа. Первоначальный план постройки предполагал создание трёхнефной базилики в романском стиле с элементами северного модерна. Закладка фундамента состоялась в декабре 1903 г.
Возводился храм на средства католической общины и сборов от лотереи, но денег не хватало, в итоге строительство было остановлено, и создан новый проект.
Новый проект принадлежал Л. Н. Бенуа совместно с Марьяном Перетятковичем для того, чтобы удешевить строительство.
Постройка собора возобновилась в 1907 году и завершена в 1909 году. Освящение храма состоялось 22 ноября (5 декабря) 1909 года.
Фасад церкви облицован большими блоками гранита, с боковой стороны фасада находится четырехгранная башня, а на другой стороне фасада небольшая башенка совершенно другого силуэта. В центральной части главного фасада возведен портал в виде арки, которая украшена колонами. На верхнем этаже церкви находится большой зал, украшенный колонами в готическом стиле. Весь облик храма строг и аскетичен.
Французская церковь во имя Божьей Матери стала шестой католической приходской церковью в Петербурге.
В Советское время храм продолжал работать с небольшими перерывами. В годы блокады и Великой Отечественной войны ему удалось избежать серьезных разрушений. Долгие годы храм был одним из двух действующих в России католических храмов и единственным в Петербурге.
В 90-е годы в храме проводились крупные реставрационные работы с целью возвращения церкви ее исторического вида.