Het gebouw is op zich al een even grote attractie als het interieur, door velen vergeleken met een enorm ruimteschip, dat geparkeerd staat op de National Mall. In essentie is het gebouw een open cilinder op vier kolossale "poten", met een grote fontein op het centrale binnenplein.
Het gebouw en het beeldenpark zijn een gezamenlijk ontwerp van de architect Gordon Bunshaft (1909-1990) en voorziet binnen in 5.500m² expositieruimte en buiten ruim 16.000m² op twee niveaus (The Garden en The Plaza).
Tijdens zijn inauguratierede in 1974 zei Joseph Hirshhorn: "Het is mij een eer mijn kunstcollectie aan het Amerikaanse volk te schenken als een kleine terugbetaling voor datgene wat het land heeft gedaan voor mensen, die hier zijn gearriveerd als immigranten zoals ik. Wat ik in de Verenigde Staten heb bereikt, zou ik nergens anders ter wereld hebben kunnen bereiken."
Joseph H. Hirshhorn Collectie
Joseph H. Hirshhorn (1899-1981), emigreerde op vierjarige leeftijd (met twaalf broertjes en zusjes) met zijn moeder, die weduwe was, van Letland naar New York. Van dertienjarige krantenjongen, via een baantje op Wall Street, startte hij op zestienjarige leeftijd een carrière in de financiële wereld.
Uiteindelijk werd Hirshhorn financier, filantropist en een bekende verzamelaar van moderne kunst, wiens gift aan de natie uiteindelijk bestond uit 6.000 schilderijen, tekeningen en sculpturen, alsmede een naar hem genoemd museum aan de National Mall in Washington D.C.
Hij bleek een verwoed verzamelaar van werken van tijdgenoten als Arshile Gorky, Stuart Davis, Edward Hopper, Milton Avery, Raphael Soyer en Larry Rivers. Hij onderhield contact met en bezocht vele kunstenaars en ondersteunde ze ook via financiële constructies, zoals bij zijn vriend Willem de Kooning: kunstwerken in ruil voor een studio in Long Island. Hirshhorn was ook een regelmatige en welkome bezoeker van de ateliers van diegenen wier werk hij verzamelde en vele van die bezoeken werden op foto vastgelegd. Een zo'n gelegenheid was in 1966 een bezoek aan Pablo Picasso in Mas Notre Dame de Vie bij Mougins in Zuid-Frankrijk.
Ten slotte herinnert men zich Hirshhorn het best als verzamelaar van 19de- en 20ste-eeuwse beeldhouwkunst. Hij kocht belangrijke werken van zulke pioniers als Auguste Rodin en Constantin Brancusi, evenals van zulke vernieuwende tijdgenoten als Alexander Calder, Henry Moore en Alberto Giacometti. De breedte van Hirshhorns beeldencollectie was bij het grote publiek onbekend tot 1962, toen delen van zijn werken voor een belangrijke expositie werden uitgeleend aan het Guggenheim Museum in New York. Vele internationale museums hebben gewedijverd om de collectie van Hirshhorn te verwerven, maar Hirshhorn heeft het Smithsonian Institution verkozen.
Modern Sculpture from the Joseph H. Hirshhorn Collection. Exhibition catalog. New York: The Solomon R. Guggenheim Museum, 1962.
Rosenberg, Harold. "The Art World: The Hirshhorn." The New Yorker, vol. L, no. 37 (November 4, 1974): pp. 156-61.
Russell, John. "Joseph Hirshhorn Dies; Financier, Art Patron." The New York Times (September 2, 1981): pp. A1-A17.
Saarinen, Aline. "Little Man in a Big Hurry." The Proud Possessors (New York: Random House, 1958), pp. 269-86.
Taylor, Kendall. "Three Men and Their Museums: Solomon Guggenheim, Joseph Hirshhorn, Roy Neuberger and the Art They Collected." Museum 2 (January-February 1982): pp. 80-86."