Эрмитаж возник в 1764 году как частное собрание Екатерины II, после того, как ей были переданы из Берлина 317 ценных картин (по расхожим слухам их было лишь 225) общей стоимостью в 183 тысячи талеров из частной коллекции живописи Иоганна Эрнеста Гоцковского (Johann Ernst Gotzkowsky, 1710—1775), в счёт его долга князю Владимиру Сергеевичу Долгорукову. Среди них были полотна таких мастеров, как Дирк ван Бабюрен, Хендрик ван Бален, Рембрандт ван Рейн, Питер Пауль Рубенс, Якоб Йорданс, Антонис ван Дейк, Хендрик Гольциус, Франс Хальс, Ян Стен, Геррит ван Хонтхорст и другие произведения, в основном голландско-фламандской школы первой половины XVII века. Эти полотна стали основой, на которой сформировался музей. Из 317 картин, переданных в Россию в 1764 году, сегодня в Эрмитаже хранится по меньшей мере 96 полотен[3]. Поначалу большинство картин размещалось в уединённых апартаментах дворца (ныне Малый Эрмитаж). Впоследствии апартаменты получили название «Эрмитаж».

В 1769 году при содействии князя А. М. Белосельского-Белозерского в Дрездене для Эрмитажа была приобретена богатая коллекция первого министра короля польского и курфюрста Саксонского Августа III графа Генриха фон Брюля, насчитывавшая около 600 картин голландских, фламандских, французских и итальянских художников, в том числе пейзаж Тициана «Бегство в Египет», виды Дрездена и Пирны кисти Беллотто и пр.

Очень большое значение для Эрмитажа имела в 1772 году покупка Екатериной при посредничестве князя Д. А. Голицына в Париже коллекции живописи барона Пьера Кроза — самой замечательной в Париже того времени после галереи герцогов Орлеанских. Это собрание, включавшее около 400 первоклассных полотен, во многом предопределило «лицо» картинной галереи. Преобладали картины итальянских, французских, фламандских и голландских мастеров XVI—XVIII века. В их числе — «Святое Семейство» Рафаэля, «Юдифь» Джорджоне, «Даная» Тициана, картины Рембрандта, произведения Рубенса, Ван Дейка, Джамбаттиста Питтони, Пуссена, пейзажи Клода Лоррена и работы Ватто.

Коллекция живописи британского премьер-министра Уолпола, приобретённая в 1779 году, в разгар русско-турецкой войны, добавила ряд шедевров Рембрандта (среди них «Жертвоприношение Авраама» и «Немилость Амана») и группу портретов кисти Ван Дейка. Импульсом к развитию графического собрания послужило приобретение в 1768 году более 5 тысяч рисунков из коллекции Кобенцля в Брюсселе, в которой находился «Портрет неизвестного»работы Жана Фуке. В 1781 году в Париже была куплена коллекция графа Бодуэна, состоявшая из 119 картин, в числе которых девять полотен Рембрандта и шесть портретов кисти Антониса ван Дейка.

Ещё одним значительным приобретением стала коллекция английского банкира Лайд-Брауна, включавшая античные статуи и бюсты, в том числе скульптуру Микеланджело «Скорчившийся мальчик».

Из-за недостатка (малого размера) первоначального помещения, архитектором Фельтеном в 1771—1787 годах строится здание Большого Эрмитажа.

В Париже была куплена коллекция резных камней герцога Орлеанского. Кроме того, Екатерина заказывала работы Шардену, Гудону, Рентгену и другим мастерам. Ею же были приобретены библиотеки Вольтера и Дидро. В посмертной описи имущества Екатерины 1796 года перечисляются 3996 картин[4]. Таким образом, только за время царствования Екатерины II в России, где до этого не было ни одного сколько-нибудь значительного собрания живописи, появилась уникальная галерея.