В 60- е годы XVIII века для супруги полковника А.Толстого был построен дом. Это было как раз на участке, где на сегодняшний день расположен многоэтажный дом № 12 по Невскому проспекту. Она была владелицей этого участка до 1777 года, после чего он был приобретен портным К.Ф. Гейдеманом. Чуть позже владельцем дома был фаворит Екатерины II, генерал-поручик А.Д. Ланской. После участок стал собственностью князя А. Шаховского.
До середины XIX века дом был во владении греческой семьи Калержи. В те времена дом был отличным образцом типичной постройки Невского проспекта. В 1819 – 1822 годах комнаты верхних этажей дома снимал генерал-губернатор Петербурга граф М. Милорадович. В 1820 году сюда пригласили А. Пушкина в связи с тем, что его стихи быстро распространились, а в обществе были восприняты как довольно фривольные. В этом здание великий поэт получил указ уехать из Петербурга и отправиться в первую ссылку на юг. В 1830-х годах И. Калержи подарил дом и участок земли своей жене Марии, дядя которой был вице-канцлер К.Несельроде.
В 1910 – 1911 годах это здание на Невском проспекте было перестроено по проекту В.Ван Ден Гюхта для филиала в Петербурге московского банка «Юнкер и К». Тогда-то им и был приобретен существующий образ. Фасад здания декорирован статуями и колоннами. Для того времени здание имело довольно вызывающий, рекламный образ, тем самым привлекая клиентов для банкирского дома. Во время СССР в доме № 12 по Невской улице было расположено ателье мод наивысшей категории. Им и было рождено фольклорное, неофициальное наименование этого дома, которое часто использовалось среди жителей – «Смерть мужьям».
В XIX века в Москве был образован банкирский дом «Юнкер и К». В те времена банкирские дома занимались промышленностью и торговлей, в отличие от банков, которые занимались исключительно своим банковским делом. Именно поэтому данный банкирский дом изначально был простым магазином товаров для модников и модниц. Только в 1950-х годах "Юнкер и К" стали заниматься банковской регулярной деятельностью. При его участии было также собрано АО «Якорь», которое довольно благополучно занимались деятельностью по страхованию транспорта, жилья, жизни и несчастных случаев.