ביתו של הנשיא היה סממן בולט בתוכניתו של פייר צ'ארלס לאנפנט של העיר הפדרלית החדשה. אדריכל הבית הלבן נבחר במסגרת תחרות; הוצעו תשע הצעות, אחת מהן הוגשה באנונימיות על ידי תומאס ג'פרסון (לימים, נשיא ארצות הברית). הנשיא הראשון, ג'ורג' וושינגטון, בחר במהירות את הצעתו של ג'יימס הובן, אדריכל ממוצא אירי מצ'ארלסטון שבקרוליינה הדרומית. וושינגטון לא היה מרוצה לחלוטין מהצעתו המקורית של הובן: הוא טען שהבית בהצעה קטן מדי, חסר עיטורים, ולא מתאים לנשיא האומה. לפי המלצתו של וושינגטון, הבית הוגדל ב-30%, והוסף אולם קבלה גדול (כיום "החדר המזרחי"). ההשראה לתוספת זו הייתה כנראה מאולם הקבלה הגדול במאונט ורנון, אחוזתו הפרטית של וושינגטון.
השפעות על העיצוב
המבנה שעיצב הובן הושפע מהקומה הראשונה והשנייה של בית ליינסטר, בית הפרלמנט האירי בדבלין, אירלנד. ייתכן כי מספר מבנים איריים כפריים מהתקופה הג'ורג'יאנית היו מקור השראתו לתוכנית הקומות המקיפה, לפרטים כמו החזית הדרומית הקשתית, ולפרטים פנימיים כמו הגומחות המעוצבות באזור שנקרא כיום "החדר הכחול". השפעות אלו, אף על פי שאינן מתועדות, מצוטטות במדריך הרשמי לבית הלבן, ובהוצאות האגודה ההיסטורית של הבית הלבן. במדריך הרשמי הראשון לבית הלבן, שהתפרסם בשנת 1962, נטען[דרושה הבהרה] כי קיים קשר בין עיצובו של הובן למרפסת הדרומית לשאטו דה ראסטיגנאק[1], בית כפרי נאו-קלאסי בצרפת, שעוצב על ידי מאת'ורין סאלאט, ונבנה בין השנים 1812–1817. עם זאת, הועלתה ביקורת כנגד טענה זו, משום שהובן מעולם לא ביקר בצרפת. המצדדים בטענת ההשפעה הצרפתית סבורים כי תומאס ג'פרסון, בזמן שהותו בצרפת כשגריר ארצות הברית בשנת 1789, צפה ברישומיו של סאלאט, ועם חזרתו לארצות הברית שיתף בהתרשמויותיו את וושינגטון, הובן, מונרו ובנג'מין הנרי לאטרוב.
תהליך הבנייה
אבן הפינה לבניין הונחה ב-13 באוקטובר1792, ללא טקס רשמי, והבנייה החלה. המעונות הראשיים, וכמו כן יסודות הבית, נבנו בעיקר על ידי פועלים שחורים משועבדים וחופשיים, ובנוסף על ידי אירופאים מועסקים. רוב העבודה האחרת בוצעה על ידי מהגרים, שלרובם לא הייתה עדיין אזרחות. קירות אבן-החול הוקמו על ידי מהגרים סקוטיים, שהועסקו על ידי הובן. עוד בנו המהגרים הסקוטים את התבליט הנישא בדמות ורד, את עיטורי הזרים מעל לכניסה הצפונית, ואת תבנית "אבן הדג" מתחת לגמלונים שנבנו לכיסוי החלונות. רוב עבודות הלבנים והטיח בוצעו על ידי מהגרים אירים ואיטלקים. הבנייה הראשונית נמשכה יותר משמונה שנים, ועלותה המדווחת הייתה 232,371.83 דולר אמריקאי דאז (אם המבנה היה מוקם בשנת 2005, עלותו הייתה נאמדת ב-2.4 מיליון דולר). אף על פי שבנייתו לא הושלמה, הבית הלבן היה מוכן למגורים בסביבות נובמבר 1800.
בשל המחסור בכוח-עבודה ובחומרים, נאלצו מבצעי הפרויקט למצוא תחליפים לתוכנית הראשונית של מתכנן העיר הפדרלית, פייר שארל ל'אנפן. תוכניתו של ל'אנפן עבור הבית הלבן הייתה בניית "ארמון" שהיה אמור להיות גדול פי חמישה מהבית שנבנה בסופו של דבר. בסיום הבנייה כלל הבית רק שתי קומות ראשיות במקום שלוש שתוכננו, ופחות לבנים יקרות לכיסוי חזית האבן של הבניין. כשהסתיימה הבנייה כוסתה אבן החול, הנקבובית, בתערובת של סיד, דבק אורז, קזאין ועופרת. התערובת הקנתה לבית את צבעו ושמו המוכרים, "הבית הלבן".
כשעבר תומאס ג'פרסון להתגורר בבית הלבן כנשיא בשנת 1801, הוא הורה לאדריכל בנג'מין הנרי לאטרוב להרחיב את המבנה כלפי חוץ, וליצור שתי אכסדרות שיועדו להסתרת אורוות ומחסנים[2].
בהיותו מבנה מפורסם בארצות הברית, מספר חיקויים נבנו לפי דמותו של הבית הלבן לאורך השנים.
שם המבנה
בתחילה נקרא המבנה בשמות "ארמון הנשיא", "אחוזת הנשיא", או "בית הנשיא". העדות הראשונה לשימוש ציבורי בשם "הבית הלבן" היא משנת 1811. יש הטוענים כי בזמן הבנייה מחדש של המבנה לאחר השרפה ב-1814, השתמשו בצבע לבן כדי לכסות את נזקי השרפה, וכך קיבל המבנה את שמו; טענה זו משוללת יסוד כיוון שהבית נצבע לבן עוד בבנייתו הראשונית בשנת 1798.[דרוש מקור] בהקשרים רשמיים נקרא המבנה בשם "האחוזה הביצועית" (Executive Mansion), עד שהנשיא תאודור רוזוולט ביסס את שמו הרשמי כאשר חרט את השם "הבית הלבן-וושינגטון" על נייר המכתבים הרשמי של המבנה בשנת 1901. הניסוח העכשווי של כותרת נייר המכתבים, המילים "הבית הלבן" והמילה "וושינגטון" ממורכזת בשורה מתחתן, נקבע כבר מימי ממשלו של פרנקלין דלאנו רוזוולט.
השערה נוספת למקור שמו של הבית, היא מתקופתו של ג'ורג' וושינגטון, וזאת אף על פי שהבית לא נבנה עד מספר שנים לאחר נשיאותו; נטען[דרושה הבהרה] כי שם הבית הגיע משם אחוזתה של רעייתו, מרתה וושינגטון, "הבית הלבן" במחוז ניו קנט שבווירג'יניה, בה התגוררה עם בעלה הראשון דניאל קרטיס בטרם מותו.
התפתחות הבית הלבן
שימוש מוקדם, שריפת 1814 והבנייה מחדש
ג'ון אדמס היה הנשיא הראשון שגר במבנה, החל מ-1 בנובמבר1800. במהלך יומו השני של אדמס בבית, הוא כתב פתק לרעייתו אביגייל, ובו תפילה לשלום הבית. אדמס כתב:
אני מתפלל לשמיים, שיעניקו את מיטב הברכות לבית זה, ולכל אלה שיגורו בו בעתיד. הלוואי ורק גברים הגונים וחכמים ישלטו תחת גגו.
אדמס גר בבית תקופה קצרה, ואחריו גר בו תומאס ג'פרסון. למרות טענותיו על כך שהבית גדול מדי, הוא תכנן התרחבויות עתידיות של הבית. לצד האדריכל בנג'מין הנרי לאטרוב, הוא סייע להכנת תוכניות לאכסדרה המערבית והמזרחית, אגפים קטנים שיוכלו להסתיר את הפעולות הפנימיות והשגרתיות בבית, כגון כביסה, מקום האורווה והמחסנים. כיום אכסדרות ג'פרסון מחברות בין אגף המגורים לבין האגף המערבי והמזרחי.
בשנת 1814, במהלך מלחמת 1812, הבית הלבן הועלה באש על ידי כוחות בריטיים, בתגובה לשריפת בניין הפרלמנט של מחוז קנדה העליונה בקרב יורק; מרבית שטחה של וושינגטון נפגע באותה שרפה. רוב הקירות החיצוניים שנותרו על תילם בבית הלבן ניזוקו ונחלשו כתוצאה מהשרפה, ולמעט חלקים מהקיר הדרומי, נאלצו המתכננים להרוס את מרבית הקירות ולבנותם מחדש. הכוחות הבריטיים בזזו שלל רב מהבית הלבן, ורובו אבד כאשר שיירה של ספינות בריטיות טבעה בליל סערה ב-24 בנובמבר 1814. רק שני חפצים נותרו: ציור של ג'ורג' וושינגטון, שהוברח על ידי הגברת הראשונה דאז דולי מדיסון; וקופסת תכשיטים, שהוחזרה לנשיא פרנקלין דלאנו רוזוולט בשנת 1939 על ידי גבר קנדי שטען כי סבו לקח את הקופסה מוושינגטון.
לאחר השרפה, שני האדריכלים, לאטרוב והובן, עיצבו את הבית והשגיחו על הבנייה מחדש. המרפסת הדרומית נבנתה בשנת 1824 בתקופת כהונתו של ג'יימס מונרו; המרפסת הצפונית נבנתה שש שנים לאחר מכן. אמנם לאטרוב הציע מרפסות דומות לפני השרפה של 1814, אך לבסוף שתי המרפסות נבנו לפי עיצובו של הובן. יש הטוענים כי מקור ההשראה שלו היה צרפתי, בשל הדמיון בין המרפסת הדרומית למרפסת האליפטית שבארמון הצרפתי שאטו דה ראסטיגנאק, והמדרגות הנוטות הזהות בשתיהן. עבודת האבן המעוטרת בשתי המרפסות בוצעה על ידי אמן איטלקי שהובא לוושינגטון כדי לסייע בבניית בניין הקפיטול.
צפיפות יתר ובניית האגף המערבי
עם פרוץ מלחמת האזרחים האמריקנית בשנת 1861, הלך ונעשה הבית הלבן צפוף למדי. גם מיקומו היה בעייתי - מצפון לתעלה ולאדמות בוצתיות, שהיוו תנאים נאותים להתפתחות מחלות כגון מלריה. על הבריגדיר גנרל נת'ניאל מיצ'לר הוטלה המשימה למצוא פתרונות לבעיות אלו; הוא הציע לנטוש את הבית הלבן כמקום מגורים, ולהשתמש בו רק לעבודה, ובמקומו הציע לבנות אחוזה חדשה למשפחת הנשיא, בגבעת מרידיאן שבתחום העיר וושינגטון די. סי.. התוכנית נדחתה על ידי הקונגרס.
ב-1881 נכנס לתפקידו הנשיא צ'סטר ארתור, שהורה על שיפוץ ועיטור החלל הפנימי בבית הלבן; השיפוץ הושלם ב-1882. בשנת 1891, הגברת הראשונה קרוליין הריסון הציעה לבנות הרחבות לבית הלבן, שכללו אגף לאומי במזרח לגלריית אמנות היסטורית, ואגף במערב לשימושים רשמיים. הקולונל תיאודור א. בינגהם הכין תוכנית בנייה לפי הצעותיה של הריסון. בשנת 1901, הנשיא תאודור רוזוולט נכנס לתפקידו ושכר את חברת מ'קים, מיד וויט כדי להוציא לפועל את השיפוצים וההרחבות, שכללו את הוספת האגף המערבי. אחריו, הנשיא ויליאם הווארד טאפט גייס את עזרתו של האדריכל נייתן ס. וויט', כדי להוסיף שטח נוסף לאגף המערבי, שכלל את החדר הסגלגל.
לאורך שנות ה-30 וה-40 נבנו עליית הגג בקומה הרביעית (במהלך כהונתו של הנשיא פרנקלין דלאנו רוזוולט), והמרפסת בקומה השנייה מעל למרפסת הדרומית (במהלך כהונתו של הארי טרומן, ועל כן נקראת "מרפסת טרומן"). עם זאת, במהלך עשורים אלו ניכרה תחזוקה גרועה של המבנה, שהביאה לפגיעה בלבנים, באבן החול ובשלד העץ עליו נבנה הבית. בשנת 1948 עמד המבנה בסכנה חמורה של התמוטטות, והנשיא טרומן הורה על שיקום הבית, ובינתיים עבר לבית ההארחה הרשמי שמעבר לרחוב, הבלייר האוס, שם התגורר בשנים 1949–1951 (בחלק מהזמן התגורר ב"בית הלבן" בעיר קי וסט שבמדינת פלורידה). אגפו המזרחי ואגפו המערבי של הבית הלבן נותרו פעילים במהלך השיפוץ, והנשיא טרומן נע מדי יום בינם לבין הבלייר האוס.
עבודת השיפוץ בוצעה על ידי חברה שבראשה עמד הקבלן ג'ון מקשיין מפילדלפיה. במהלך השיפוץ הוצא הריהוט, פורקו כל הקירות הפנימיים, נבנה שלד פנימי חזק מפלדה, ולבסוף נבנו מחדש כל החדרים המקוריים. בוצעו מספר שינויים בתוכנית הקומות, החשוב שבהם היה הסבת גרם המדרגות המרכזי לאולם הכניסה, ולא לאולם בצורת צלב. הותקן מיזוג אוויר מרכזי, ונבנו שני מרתפים תת-קרקעיים נוספים, שיצרו מקום נוסף לחדרי עבודה ומחסנים, וכן היוו מקלט מפני הפצצה של הבית הלבן. משפחת טרומן שבה אל הבית הלבן ב-27 במרץ1952.