Решение о том, чтоб построить в Петербурге музей публичного значения, в котором выставлялись работы по русскому национальному искусства, было принято еще Александром III. Однако воплотить задумку в реальность удалось только его сыну, Николаю ІІ, который в апреле месяце 1895-го года подписал указ. В нем говорилось, что установлено особое учреждение, которое носит название «Русский Музей Императора Александра III». Для данной цели отвели территорию Михайловского дворца вместе с принадлежащими ему садиком, служебными домами и флигелями. Поэтому, с мая месяца указного года начались массовые работы по перестройке дворцовых помещений, которые после стали музейными комнатами.

В торжественной обстановке открывали Русский музей для посещения людьми в марте месяце 1898-го года. На тот момент, коллекционные запасы насчитывали полсотни работ живописи, больше сотни скульптурных произведений, почти тысячу гравюр с акварели и рисунков, а так же, пять тысяч изделий, которые относились к декоративно-прикладному искусству древней Руси и иконы. Они, в свою очередь, пополнили запасы музея древностей христианства. Основную часть русской коллекции собрания составляют предметы и шедевры искусства, которые были переданы из владений Зимнего, Гатчинского и Александровского дворцов, из Эрмитажа и Академии художеств. Пополняется музей коллекциями, которые жертвуют частные собиратели.

Первые десяток лет существования принес Русскому музею увеличение коллекции почти в два раза. Этот фактор стремительно набирал обороты именно после революционных событий, когда проводились массовые распределения имеющихся произведений русского и мирового искусства. Данную функцию поручили специальной организации, которая называлась Государственным музейным фондом. За данный период музей пополнился многими экспонатами из многочисленных частных коллекций.

С самых первых дней существования, музею отдали три отдела. Первый посвятили памяти императора Александра III, вторым стал этнографический отдел, а третий ориентировался на художество. Было выделено место еще под мемориальный отдел, однако, его строительство по времени затянулось очень сильно. Потом, о нем вообще забыли. В конечном итоге, название «Русский музей» ассоциировали только с художественным отделом.