Всем известный особняк Гагариной расположился на улице имени Герцена. На этом месте еще под конец 18-го века был возведен дом небольших размеров для обитания простых жителей. Однако реконструкция первая произошла в 40-е годы 19-го века, когда по проекту архитектора Огюста Монферрана, здание насытилось нынешним существующим видом. Дом сразу кидается в глаза, потому что выделяется неординарным и асимметричным решением по отношению ко всем остальным домам в районе. Фасад одноэтажного дома выходит с обращением на улицу Герцена. К главной части несколько дальше пристроена пристройка с тремя этажами. Углубление открывается террасами вместе с присущими им декоративными скульптурами. В таком ансамбле зданий, которые состоят из четырехэтажного и трехэтажного корпуса, находится внутренний дворик небольшого размера. Внешнее обрамление здания получилось достаточно приличным и нарядным. Архитектура способна наделить четко прослеживающимися мотивами ренессанса, который пришел из Италии. Украшение аттика фасада происходит благодаря трем горельефным панно, а именно, «Франциск I у умирающего Леонардо да Винчи», «Микеланджело показывает папе Павлу III проект собора Святого Петра» и «Карл I подает Тициану кисть». Помимо этого, фронт здания обогащен несколькими размещенными подряд красивыми барельефами, которые выполнялись на темы басен, написанных Лафонтеном.
Благодаря найденным примерам эскизов Монферрана, интерьер был выполнен со всеми почестями.
Первоначальном плане декор интерьеров была заменена лепниной, мрамором и дубовыми панелями на ныне существующий в конце 19-го века. Внутреннее убранство смогло легко сохранить панели на дверях, которые сделаны из чистого дуба и ореха. Камины так и остались мраморные и резные. Самое лучшее помещение для проведения экскурсий это вестибюль. Именно он сумел сохраниться в первоначальном виде. Мраморные плиты уложены на полу таким образом, что получаются черные и белые клетки шахматной доски. Лестничное покрытие так же выполнено из мрамора. Очень интересный вид имеют Большой зал и дубовая галерея, особенно, относительно трех сторон. Он имеет прямоугольную форму, а так же, украшен большими панно с различным нарисованным характерным орнаментом. Перекрытия зала обшиты наборным деревом. На сегодняшний день, в этом здании находится Дом композиторов.