Le musée détient aussi des collections de dessins et d'estampes (quelque 6 400 dessins et 3 000 estampes), un fonds d'un millier de sculptures (dont une importante collection de sculptures gréco-romaines) et un grand nombre d'objets décoratifs et de documents historiques. Après les travaux d'agrandissement dirigés par Rafael Moneo, il expose en permanence une collection de 1 300 œuvres dans son siège, plus 3 000 prêtées pour être exposées dans d'autres galeries et institutions officielles.
Le projet architectural de l'actuelle galerie d'art est approuvé par Charles III en 1786. Il s'agit de l'aboutissement de la carrière de Villanueva et de l'un des sommets du néo-classicisme espagnol, bien que, compte tenu de la longue durée des travaux et des vicissitudes ultérieures, le résultat final s'éloigne quelque peu du projet initial.
Les travaux de construction sont réalisés sous les règnes de Charles III et de Charles IV, et l'édifice est pratiquement achevé au début du XIXe siècle. Mais l'arrivée des troupes françaises en Espagne et la guerre d'indépendance retarde son ouverture ; il est alors utilisé à des fins militaires (caserne de cavalerie) et les feuilles de plomb des toits sont fondues pour fabriquer des balles ; il tombe dans un état de quasi ruine.
Grâce à l'intérêt manifesté par Ferdinand VII et, surtout, par sa seconde épouse, Marie-Isabelle de Bragance, la restauration de l'édifice commence en 1818, sur la base de nouveaux plans de Villanueva lui-même, remplacé à sa mort par son disciple Antonio López Aguado, avec des fonds fournis par le roi à partir de sa bourse personnelle ou poche secrète.
Le 19 novembre 1819, le Musée royal de peinture, nom initial de l'institution, est discrètement inauguré. C'est l'aboutissement d'un projet déjà esquissé à l'époque de Charles IV : la fondation d'un musée sur le modèle de celui du Louvre de Paris, qui exposerait les pièces choisies de la collection royale.
À l'époque, il compte trois cent onze tableaux, exposés dans trois salles, tous de peintres de l'école espagnole, mais il en abrite bien d'autres. Au fil des années, de nouvelles salles et œuvres d'art sont ouvertes au fur et à mesure de l'achèvement du bâtiment.
Au départ, le musée n'est qu'une partie du patrimoine de la Couronne. Selon les décisions royales, de nombreuses œuvres proviennent des palais et des monastères royaux, mais des œuvres quittent ensuite le musée pour d'autres lieux. C'est le cas de Saint Ferdinand devant la Vierge, de Luca Giordano, qui est transféré en 1828 au palais royal du Pardo.
C'est précisément le lien de la collection avec la Couronne qui pose un sérieux problème à la mort de Ferdinand VII, en raison du partage testamentaire voulu par ce dernier entre Isabelle II et sa sœur, Louise-Fernande de Bourbon.
L'exécution du testament est reportée jusqu'à la majorité d'Isabelle. Face au doute de savoir si tous les biens inclus dans les inventaires peuvent être considérés comme faisant partie du libre héritage du roi, une commission est nommée qui, en 1844, rend un rapport dans lequel, tout en reconnaissant que les dispositions testamentaires tout au long de l'histoire des monarques espagnols sont trop imprécises et variables pour permettre d'établir une tradition. Elle exprime son opposition en tout cas à un partage, car la majorité des biens appartiennent à la couronne espagnole depuis des temps très reculés. Elle propose donc comme solution :
« ...Faire de V.M.[Quoi ?] sa propriété, moyennant une compensation équitable légalement convenue, tous les meubles et effets de toute nature adjugés à son auguste sœur, qui, n'étant pas applicables à son usage particulier, sont destinés au service et à l'ornement des palais de V.M. »
Rapport qui fut approuvé par la reine, en accord avec sa mère et sa sœur.
Après l'exil en 1868 d'Isabelle II, le musée fait partie du patrimoine de la Nation[note 1] par la loi du 18 décembre 1869, qui abolit le patrimoine de la Couronne. Cette loi établit cependant un ensemble de biens destinés à l'usage et au service du monarque, mais n'incluant pas le musée.
En 1872, le musée de la Trinité de Madrid(es), créé à partir d'œuvres d'art réquisitionnées en vertu de la Loi de désaffectation de Mendizábal (1836), est supprimé et ses fonds sont transférés au Prado. À la suite de cette fusion, le Prado est rebaptisé Museo Nacional de Pintura y Escultura, appellation qui était jusqu'alors celle du Museo de la Trinidad. Ce nom est conservé jusqu'à ce que le décret royal du 14 mai 1920 lui donne officiellement le nom jusque-là couramment utilisé de Museo Nacional del Prado, puisque le bâtiment a été construit sur les terrains de l'ancien Prado de los Jerónimos. Et c'est ce nom de Museo Nacional del Prado qui perdure jusqu'à maintenant.
D'autres collections viennent encore grossir le fonds du Prado : les tableaux du musée-bibliothèque des territoires d'outre-mer d'Espagne (connu en espagnol comme le Museo-Biblioteca de Ultramar, transférés au Musée d'Art Moderne après sa dissolution en 1908, et une partie de la collection du Museo Iconográfico, musée éphémère installé provisoirement en 1879 dans le même bâtiment que le musée du Prado et qui, une décennie plus tard, est supprimé, ses collections étant réparties entre différents musées, dont le Prado, des bibliothèques et des sièges d'organismes officiels.
L'arrivée de collections d'autres musées a obligé l'institution à intensifier sa politique de diffusion de ses fonds en créant des dépôts stables d'œuvres d'art dans d'autres institutions publiques et privées en Espagne et aussi dans certains cas à l'étranger dans des ambassades.
Pendant XIXe siècle et une bonne partie du XIXe siècle, le Prado vit une situation précaire, l'État ne lui apportant que des ressources et un soutien insuffisants. Les mesures de sécurité déficientes, avec une partie du personnel du musée vivant sur place et des piles de bois stockées pour les cuisinières, ont suscité l'inquiétude de certains connaisseurs. En 1891 le journal El Liberal(es), fait sa une sur l'incendie dévastant le Prado. Ce n'est qu'à la fin de l'article que le rédacteur Mariano de Cavia(es) révèle qu'il s'agit d'une fiction. Cet article fait prendre conscience du problème par un large public madrilène qui s'en sont alarme. Cette fausse nouvelle a servi de déclencheur à l'adoption d'améliorations d'urgence.
En 1897, le musée est victime du vol d'une esquisse de Murillo, Santa Ana enseñando a leer a la Virgen et en 1918, le pillage du Trésor du Dauphin(es), effectué par un employé du musée lui-même, Rafael Coba fait grand bruit. La plupart des pièces sont récupérées, à l'exception de onze d'entre elles, mais trente-cinq d'entre elles sont gravement endommagées, dépouillées de leurs pierres et métaux précieux. L'incident, le plus grave de l'histoire de l'institution, coûte son poste au directeur, le peintre José Villegas Cordero et entraîne la fermeture préventive des ateliers d'artistes de la galerie. C'est le pire vol que le musée ait jamais subi. En 1961, une tentative de vol se solde par la chute mortelle du voleur du toit du bâtiment ; on a retrouvé sur lui un écrit dictant les conditions pour la récupération des tableaux.
Un grand nombre de chefs-d'œuvre du Prado sont évacués(es) pendant la guerre civile, de peur que les bombardements de Franco ne détruisent le bâtiment et son contenu. Cinquante-quatre œuvres sont également transférées du Musée d'Art Moderne, ainsi que d'autres provenant du site royal de Saint-Laurent-de-l'Escurial et même des œuvres appartenant à des de particuliers, comme La Comtesse de Chinchón, de Goya, alors propriété du duc de Sueca(es), ou La Comtesse de Santovenia, de Eduardo Rosales, appartenant à l'époque au duc de La Torre(es) en dépôt au musée d'Art Moderne. Ils font un long voyage à travers l'est de l'Espagne (Valence, la Catalogne) jusqu'à ce qu'ils arrivent en train à Genève, à la Société des Nations où ils sont la pièce maîtresse d'une exposition qui suscite un intérêt international et attirent 400 000 visiteurs, un chiffre considérable pour l'époque[4]. Des artistes comme Paul Klee et Alberto Giacometti viennent la voir. À la fin de l'été 1939, les œuvres réintègrent le musée de Madrid après une absence de près de trois ans.
Malgré plusieurs extensions mineures, le Prado souffre d'un manque d'espace, plus grave à partir des années 1960, lorsque le boom touristique fait affluer les visiteurs. Progressivement, la galerie s'adapte aux nouvelles exigences techniques ; le système de filtrage et de contrôle de l'air est installé dans les années 1980, coïncidant avec la restauration de nombreux tableaux de Velázquez.
La toiture construite avec des matériaux disparates est sujette au fil du temps à des réparations successives, en raison de fuites occasionnelles. En 1995 un concours restreint est lancé pour sa refonte intégrale, remporté par les architectes Dionisio Hernández Gil(es) et Rafael Olalquiaga(d), et les travaux sont réalisés entre 1996 et 2001.
En 1995, un accord parlementaire signé par les deux principaux partis politiques représentés aux Cortes Generales, le PP et le PSOE, met le musée à l'abri des aléas politiques et apporte le calme nécessaire à un processus de modernisation, qui comprend des modifications juridiques ainsi qu'un agrandissement. Celui-ci, après un concours d'idées controversé, est attribué à l'architecte Rafael Moneo, déjà connu pour son travail sur le musée national d'art romain de Mérida et le musée Thyssen-Bornemisza, entre autres. L'extension a été inaugurée en octobre 2007, après cinq ans de travaux.
La collection de peintures allemandes est réduite mais de grande qualité. Elle comprend en premier lieu un ensemble de quatre œuvres majeures de Albrecht Dürer, dont son Autoportrait aux gants de 1498. Parmi les autres œuvres, on trouve notamment une Vierge à l'enfant de Lucas Cranach l'Ancien, deux allégories de Hans Baldung, une petite peinture de Adam Elsheimer et, pour le XVIIIe siècle, un ensemble de portraits et dessins de Anton Raphael Mengs.