В XVIII веке по указу Екатерины Второй началась раздача участков между служебным зданием Мраморного дворца и Лебяжьим каналом на набережной Невы. Так первый участок земли, начиная с Летнего сада и до Мраморного дворца, был передан И.И. Бецкому. А в 1784 году на набережной Невы по заказу Ф.И. Гротена был построен особняк. Автором проекта стал зодчий Кваренги Джакомо.

По неизвестным причинам купец Ф.И. Гротен не стал здесь жить, что вызвало огромное количество меняющихся владельцев. Так продолжалось пока в 1796 году, дом не был выкуплен Екатериной II и не был подарен ею графу Салтыкову Николаю Ивановичу в память о воспитании князя Константина – её любимого внука. Позже здание перешло во владение его сыну. Особняк подвергался несколько раз перестройке в 20-е годы XIX века по плану знаменитого архитектора К.И. Росси. Здание подвергалось также надстройке, что существенного изменило облик особняка. От первоначального творения был оставлен только фасад, выходящий в сторону Невы.

Граф Салтыков Николай Иванович возглавлял во время войны с Наполеоном кабинет министров. В те времена кабинету министров приходилось решать проблемы связанные со снабжением русских войск продовольствием и экипировкой, а также заниматься обороной страны. Так в 1814 году Салтыков получил титул князя.

С 1828 года особняк начал сдаваться посольству Австрии. Спустя год, в России послом от Австрии был назначен К.Л.Фикельмон. С той поры двери особняка Салтыкова гостеприимно распахнулись для писателей, дипломатов, общественных деятелей. Приобретя нового хозяина, дом стал важным источником новостей и информации о жизни Европы, здесь начали обмениваться мнениями о литературе, искусстве и политике. В особняке проводились кроме официальных приемов также и маскарады, балы, рауты и музыкальные вечера. Часто в доме можно было застать знаменитого русского поэта Пушкина Александра Сергеевича. Дом Фикельмона был свидетелем огромного количества важных событий в жизни писателя. Так 16го ноября 1836 Пушкин попросил стать его секундантом писателя Соллогуба, в этот же день вечером Пушкин прибыл в дом Фикельмона на раут, где выглядел сильно встревоженным. Как мы знаем эта история, закончилась трагически.

Также в XIX веке в особняке располагались посольства Англии и Дании. Здание было конфисковано во времена правления советской власти, в нём был расположен Библиотечный институт. Теперь дом принадлежит Университету искусств и культуры.