До XVIII века на месте Александровского сада располагались оборонные укрепления Адмиралтейства, утратившие свое оборонное значение. На их месте образовалась площадь, называемая Адмиралтейским лугом. В дни празднеств здесь проводились общегородские ярмарки и народные гуляния, устраивались катания с горок, карусели и балаганы.
Позже канал вокруг Адмиралтейства, прорытый ещё при Петре Великом, был засыпан ввиду его загрязнения. При императоре Александре I перед Адмиралтейством был устроен бульвар, ставший одним из любимых прогулочных мест петербургской знати. Упоминание об этом бульваре присутствует и в романе А. С. Пушкина «Евгений Онегин»: «Надев широкий боливар, Онегин едет на бульвар». В 1833 году на центральной аллее появились находившиеся ранее в Таврическом дворце мраморные скульптуры Геракла и Флоры - копии античных скульптур.
К двухсотлетию со дня рождения Петра I городские власти приняли решение преобразовать бульвар в городской сад. Проект по разбивке сада принадлежал петербургскому садоводу Э.Л. Регелю. Официальное открытие сада состоялось 8 июня 1874 года. Он получил имя императора Александра II. В просторечии сад называли «Сашкиным садом». Императором был лично посажен здесь дуб, сохранившийся и поныне.
Первоначально планировалось установить в саду три фонтана, но, в итоге, решено было ограничиться одним. В 1880 году центр сад, по замыслу архитектора Гешвенда, украсил фонтан, часто называемый «музыкальным» или «танцующим». Такие сравнения фонтан получил благодаря тому, что высота его струи меняется в такт звучащей из сада музыке. В последующие годы аллеи сада украсили несколько скульптурных памятников. 4 июня 1887 года был открыт бюст В. А. Жуковского, в честь столетия со дня его рождения. Позже в саду появились памятники Н.В. Гоголю, М.Ю. Лермонтову, Н.М. Пржевальскому. В 1900 году рядом с ним появился бюст М.И. Глинки. После революции 1917 года Александровский сад был переименован в сад Трудящихся, а в 1936 – в Сад Трудящихся имени А.М. Горького. Сад претерпел заметную реконструкцию: садовые постройки были разобраны, на их месте устроены детские и спортивные площадки.
В годы блокады Ленинграда в саду укрывали зенитные батареи. Сад значительно пострадал от авиаударов и бомбежек, множество деревьев пострадало, но при этом, ни один человек не посмел срубить в саду, ни одного дерева - жители блокадного Ленинграда топили квартиры мебелью.
После освобождения города сад за несколько лет был восстановлен. Публике были представлены большие цветники и розарий. Международные «цветочные» выставки устраиваются в саду, и по сей день.
Из современной истории: в 1989 году сад переименовали в Адмиралтейский, но спустя 7 лет саду было возвращено его прежнее название — Александровский сад. В 1998 году в саду установили бюст князя Горчакова, русского дипломата. Вначале 2000-х, в результате реконструкции, саду вернулась еще и его историческая планировка.