Die meisten der Hauptwerke, die heute hier zu bewundern sind, wurden in nur etwa einem halben Jahrhundert zusammengetragen. Die bereits in der Kunstkammer angelegte Sammlung deutscher und niederländischer Meister erweiterten der sächsische Kurfürst und spätere polnische König August der Starke (1670-1733) und vor allem dessen Sohn August III. (1696-1763) mit System: Ihre Agenten erwarben bis zum Ausbruch des Siebenjährigen Krieges Werke des 16., 17. und 18. Jahrhunderts in ganz Europa.

Öffentlich präsentiert wurden die Werke seit 1747 im sogenannten Johanneum, dem ehemaligen kurfürstlichen Stallgebäude. Ein ihrem stetig wachsenden und wertvollen Bestand angemessenes Gebäude erhielt die Sammlung rund hundert Jahre später: Gottfried Semper, der Architekt der heute als „Semperoper“ bekannten Hofoper, errichtete in deren unmittelbarer Nachbarschaft das Galeriegebäude am Zwinger, in dem bis heute die Alten Meister untergebracht sind.