В XVIII веке по указу Екатерины Второй началась раздача участков между служебным зданием Мраморного дворца и Лебяжьим каналом на набережной Невы. Так первый участок земли, начиная с Летнего сада и до Мраморного дворца, был передан И.И. Бецкому. А в 1784 году на набережной Невы по заказу Ф.И. Гротена был построен особняк. Автором проекта стал зодчий Кваренги Джакомо.