מקור שמם של שדרות סן ז'רמן הוא במנזר הישן סן ז'רמן דה פרה, שניצב באזור בימי הביניים, וכיום נותרה ממנו רק כנסייתו. השדרות חוצות גם את אזור פובור סן ז'רמן, המצוי בשטח שממערב למנזר, שהיה בעבר מחוץ לחומות פריז העתיקה (בצרפתית Faubourg, פַּרְבָר). בתי המידות של אזור פובור סן ז'רמן זכו לאזכורים שונים ביצירתו הנודעת של מרסל פרוסט, "בעקבות הזמן האבוד".
במאה ה-17 הפך אזור סן-ז'רמן לרובע המרכזי והאופנתי ביותר בעיר, וסביבו נבנו בתי מידות של בני האצולה (בצרפתית: hôtels particuliers). שמו הטוב של האזור נותר על כנו עד המאה ה-19, כאשר שכונות הבורגנות הגבוהה שנבנו בגדה הימנית ערערו על מעמדו האריסטוקרטי הישן של הבולבאר, ושדרות סנט אונורה או שדרות שאנז אליזה הפכו למקום האופנתי והנחשב ביותר. החל משנות השלושים של המאה ה-20 נקשר שמם של השדרות לחיי הלילה של פריז, לבתי קפה ולאזור מגורי סטודנטים שלמדו במוסדות ההשכלה הגבוהה שברובע הלטיני. לאורך הרחוב ממוקמים כמה מבתי הקפה המפורסמים ביותר של העיר, בינם בולטים במיוחד קפה "קפה לה דה מאגו", "קפה דה פלור" ו"בראסרי ליפ" (brasserie Lipp), שיוצרים יחדיו את "משולש הזהב" מול כנסיית סן ז'רמן דה פרה. בין כותלי בתי הקפה נהגו להתארח אנשי רוח, ידוענים ומדינאים מפורסמים, ובהם צמחה והתנהלה התנועה האקזיסטנציאליסטית, בהנהגתם של ז'אן-פול סארטר וסימון דה בובואר.
סלילת השדרה הייתה אחד מהמפעלים בהם עסק באופן אישי הברון אוסמן, במסגרת תוכנית השיפוצים הגדולה שערך בעיר בתקופת הקיסרות השנייה. בעת סלילת השדרה נהרסו ובותקו מבנים ישנים רבים, בינם גם כמה מבתי המידות המפורסמים של רובע פובורג סן ז'רמן.
חלק מאירועי מאי 1968 התרחשו בשדרות סן ז'רמן, בעיקר מול הסורבון, שם הוקמו בריקדות.
בתים ומקומות ידועים בשדרה
בית מספר 117 - נבנה בין השנים 1877 ל-1879 על ידי האדריכל הידוע שארל גרנייה עבור קבוצת המוציאים לאור (Cercle de la Librairie).
ליד בית מספר 168 – כיכר פליקס-דרול (square Félix-Desruelles) היא שריד לגן העתיק של מנזר סן ז'רמן דה פרה. בגן היה פסל של ברנאר פליסי (Palissy) מעשה ידי לואי-ארנסט בריא (Louis-Ernest Barrias), ומול הבית השכן, חזית מאבן חול מזוגגת אמייל מעשה האדריכל שארל ריזלה (Risler) והפסל ז'ול קוטה (Coutan).
בית מספר 184 – נבנה על ידי האדריכל אדואר לודייר בשנת 1878 עבור החברה הגאוגרפית הצרפתית. שתי הקריאטידות (עמודים מפוסלים בדמויות אנוש), המסמלות את היבשה ואת הים, והגלובוס שבתווך פוסלו על ידי אמיל סולדי (Soldi).
בית מספר 215 – מבנה בסגנון נאו-רנסאנס שנבנה בין השנים 1881-1883, ושימש כאגף של "המוסד הלאומי למדעי המדינה".
בית מספר 218 – ניצב בעבר ברחוב סן-דומיניק, ובו התגורר הדוכס סן-סימון בשנת 1741.
מבנה מספר 231 – משרד ההגנה שכן בגוש שבין שדרות סן-ז'רמן, רחוב סן-דומיניק ורחוב דה-ל'אוניברסיטה עד 2015. בניין המשרד נבנה בשנים 1876-1877 על ידי האדריכל ז'ול בושו (Bouchot).
בית מספר 244 – בנין שנבנה עבור משרד העבודות הציבוריות על ידי אנטואן איזידור אז'ן גודבף (Antoine Isidore Eugène Godebœuf) בשנת 1861. כיום ממוקם בו שירות משרד החוץ הצרפתי.
