Первая половина 18 века для участка будущего дворца ознаменовалась тем, что он был передан во владение государственного деятеля Мусина-Пушкина И.А. По истечении некоторого времени Д.П. Волконский выстроил на нем прекрасное особое имение, а уже в первых годах 19 века Александр первый передал постройку во владение французского посла Армана-Огюста-Луи Ду Коленкура под посольство, это был жест доброй императорской воли.
В 1862 году архитектор А.И. Резанов получил задание на проектировку дворцов для великих князей Владимира и Александра, которые получили права на эту землю. В начале дворец должен был быть поострен для князя Александра, но князь после смерти Николая - сына и наследника престола в одном лице, принимает решение переехать в Аничков дворец, землю передает во владение Владимира Александровича. Достроили дворец и освятили его в присутствии императора и его семьи только 10 августа 1874 г.
Итак, об интерьере дворца:
Первый этаж занимали покои самого хозяина замка. Его приёмная была оформлена с огромным шиком, чего стоит лишь картина одного из величайших русских художников «Бурлаки на Волге» И.Е. Репина, за которую художнок получил в уплату три тысячи рублей от самого великого князя. Второй этаж принадлежал жене Владимира, великой княгине Марии Павловне, третий же, принадлежал продолжателям рода семейства, детям четы, там же находились и помещение для прислуги. Северо-восточная часть дворца занимательна тем фактом, что в перила лестницы, которая была там построена, имел место быть вплетенным вензель «VM», что при расшифровке говорит Vladimir и Maria. Сам дворец имел общее количество помещений равное трем с половиной сотням. Дворец был оборудован конюшней, в которой свободно размещались 36 лошадей. В последние годы 19 века дворец оснастили электричеством. После кончины великого князя дворец стал собственностью его жены Марии. По её указанию в самом центре главного входа установлен фонтан, заказанный и привёзённый из Италии.
По прошествии некоторого времени, после неудачного окончания Октябрьской революции, великая княгиня была вынуждена покинуть Россию по личным причинам. Позже дворец стал прибежищем для разнообразных медицинских и военных учреждений. Практически всё имущество (кроме произведений художественного искусства, что были сохранены) было вывезено, малая часть была отдана музеям, большая же – продана заграницу. Особенно привлекает интерес коллекция западноевропейского и русского фарфора, что была оставлена в самом замке. После пожара в 1918 году (последствием которого стал существенный вред, испортивший роскошную Венецианскую гостиную). Позднее во дворце нашла себе пристанище Петроградская комиссия по улучшению быта ученых, и замок обрёл новое имя - «Дом ученых». Вид парадных залов и совершеннейшая лестница мастера Максимилиана Месмахера по наши дни, производит неизгладимое впечатление.