В XVIII веке там, где сейчас находится Юсуповский дворец, раньше располагался особняк П.И. Шувалова – популярного государственного деятеля времён императрицы Елизаветы. В шестидесятых годах под руководством известного архитектора Валена-Деламота дом был расширен и надстроен. В середине главного фасада украшением служил шестиколонный портик в стиле тосканского ордена. Чуть позже, в конце XVIII века владелицей дома становится племянница знаменитого князя Г. Потемкина.
В 1830 году особняк выкупает Николай Борисович Юсупов. Этот давний род ведёт свою историю в России от 1563 года. Именно тогда в Москву приехали сыновья султана Юсуфа. Царь Иван Грозный пожаловал им весьма богатые земли недалеко от Ярославля. Абдул-Мурза, будучи правнуком Юсуфа, принял христианство и изменил своё имя на «Дмитрий». Великий генерал Григорий Юсупов был сыном Дмитрия и сподвижником Петра I, в то время как Николай Борисович Юсупов приходился внуком Дмитрия и был награждён всеми российскими орденами (в том числе Павлом I орденом Андрея Первозванного). Также, специально для него была придумана специальная награда – жемчужный эполет. У Юрия Борисовича Юсупова была дружба с Вольтером, он был частым гостем Людовика XVI и у Фридриха Великого. По всей России у семьи Юсуповых имелось около пятидесяти дворцов, четыре из которых были в Петербурге.
Как только здание около набережной реки Мойки досталось князю Н.Б. Юсупову, архитектор А.А. Михайлов Второй начал работы по его перестройке. Была перестроена вся череда парадных помещений на втором этаже дома. Недалеко от здания был построен флигель, который вместил в себя Белоконный зал с колоннадой в стиле коринфского ордена. Также изменился интерьер внутри Большой ротонды, Белоконного и Танцевального залов, Красной и Синей гостиных. В этих помещениях стены были обтянуты шелковой тканью или облицованы искусственным мрамором. В свою очередь полы покрыли паркетом из благородных пород дерева, а потолки расписали великолепными узорами. Белоконный зал украсили благородными золочеными люстрами. Также в Юсуповском дворце имелся свой домашний театр, вмещавший в себя сто восемьдесят персон. Во второй половине XIX столетия он был оформлен лепкой в стиле барокко.
Мавританская гостиная и Турецкий кабинет были оформлены в восточном стиле благодаря архитектору И. Монигетти. Верхние части стен в гостиной украсили арабской вязью, а также установили великолепный мраморный фонтан. Этим дворцом владело не одно поколение семьи Юсуповых.
После революции во дворце размещался музей, позже дом работников просвещения. Когда началась Вторая мировая война, то во дворце устроили госпиталь. За время войны здание сильно пострадало от снарядов. Он долгое время реставрировался и в 1987 году перед нами предстал Камерный музыкальный театр.