Эрмитаж происходит от французского слова ermitage, которое означает уединение или место для уединения. В 17 -18 веке так называли небольшие павильоны, находящиеся в парках, в этих павильонах их хозяева могли скрыться от суеты и отдохнуть в одиночестве. Такие постройки были очень популярны в то время.

Первый Эрмитаж был окружён рвом с водой, и пройти на территорию Эрмитажа можно было только по подвесному мосту, который в случае необходимости можно было поднять. В случае, если Петр хотел с кем - то провести разговор и не хотел, чтобы его кто - то слышал в Эрмитаже была  установлена так  называемая технология подъёмный стол. Этот самый стол сервировался на первом этаже, благодаря специальной технологии  мог быть поднят на второй этаж. Первый русский Эрмитаж стал одной из первых картинных галерей иностранных художников. Все картины были куплены в Европе. 

Этот павильон стал одним из лучших примеров для построек такого типа. Одна из самых красивых построек этого типа так и не дошла до нас. Это Эрмитаж в парке летнего дворца Елизаветы Петровны. Он был построен великим Растрелли. Но Павел 1 приказал снести его и построить  на нём свой дворец-замок. Ещё один Эрмитаж, построенный Растрелли был построен в царском селе и к Екатеринскому дворцу можно было пройти по прямой аллеи. Эти две постройки были очень похожи дизайном те же цвета  и та же самая декоративная отделка.

На каменном острове, который был под владением Бестужева – Рюмина был построен ещё один Эрмитаж. Это Эрмитаж представлял из себя, небольшое здание, построенное рядом с зимним дворцом. В этом Эрмитаже разместили небольшую галерею, в которой императрица устраивала неофициальные приёмы. Со временем эту галерею стали называть малым Эрмитажем.

В 1764 году в зимний дворец было доставлено 225 картин приобретённых у берлинского коммерсанта Гоцковского, и именно тог  год считается официальным открытием малого Эрмитажа. Горцовский готовил эти картины для Прусского короля, но после войны он не смог их оплатить, а у самого Горцовского был долг перед русской казной.

С тех пор Екатерина решила не останавливаться на достигнутом, и приказала скупать в Европе все лучшие произведение выставленные на аукционы. Вначале большая коллекция собранная Екатериной размещалась в Зимнем дворце но вскоре была перемещена в малый Эрмитаж. Большая часть картин находящаяся в Эрмитаже была приобретена Екатериной.

В 1786 году было построено ещё одно здание, которое называлось старым Эрмитажем, потом в 1852 году было построено ещё одно здание которое называлось новым Эрмитажем. За 200  лет существования Эрмитаж стал крупнейшим художественным музеем России.