Blair House, bâtie en 1824, est à l'origine la résidence de Joseph Lovell(en), le premier Surgeon General of the United States Army («chirurgien général de l'armée des États-Unis»). Francis Preston Blair, un éditeur de journaux qui était aussi un influent conseiller du président Andrew Jackson, fait l'acquisition de la maison en 1836. Après sa mort, elle est léguée à ses enfants. La famille Blair reste propriétaire de la maison pendant environ un siècle.
En 1942, la maison est rachetée par le gouvernement américain et est depuis la résidence officielle pour les invités du Président des États-Unis. Blair House est alors utilisée pour héberger les chefs d'État ou des premiers ministres étrangers en visite d'État à Washington. Mais elle fut aussi utilisée pour des invités personnels du Président. Plusieurs présidents américains nouvellement élus y ont passé la nuit précédant le jour de leur inauguration. George W. Bush a invité Nancy Reagan à y résider lors des funérailles nationales de son mari, l'ancien président Ronald Reagan, mort en 2004. De même que Betty Ford y résida pour les funérailles de son mari et ancien président Gerald Ford en 2006.
Blair House est le théâtre, le , d'une tentative d'assassinat ratée contre le Président Truman menée par les nationalistes portoricainsGriselio Torresola et Oscar Collazo. L'agent de police de la Maison Blanche Leslie Coffelt abattra un des agresseurs avant d'être tué à son tour. Une plaque dans Blair House a été posée en sa mémoire.
Blair House est constitué maintenant d'un complexe de quatre maisons de ville (dont la maison d'origine) communiquant entre elles. Dans les années 1980, d'importants travaux de restauration y eurent lieu, et on y ajouta une nouvelle aile à l'arrière de la résidence. Avec 6 500 m2, la superficie de l'ensemble de ce complexe est désormais supérieure à celle de la Maison-Blanche. Il compte 119 pièces dont :
14 chambres d'hôtes
9 chambres pour le personnel
35 salles de bain
4 salles à manger
plusieurs salles de conférence et des salles de séance
une salle d'exercice
un salon de coiffure
des cuisines
une blanchisserie et service de nettoyage à sec
un magasin de fleurs
Une maison adjacente, Trowbridge House, est en cours de rénovation pour servir de résidence aux anciens présidents lorsqu'ils séjourneront dans la capitale fédérale.