אוסיפ (יוסף) מנדלשטם נולד בשנת 1891 בוורשה למשפחה יהודית מתבוללת עשירה.
אביו, אֶמִיל (חַצְקֶל) בנימינוביץ' מנדלשטם (Эмиль (Хацкель) Биньяминович Мандельштам), היה סוחר במוצרי עור, שהתנתק מהיהדות המסורתית בשלב מוקדם בחייו, וזכה בסטאטוס של "סוחר הגילדה הראשונה", אשר התיר לו להתיישב מחוץ לתחום המושב חרף יהדותו.
אמו, פלורה אוסיפובנה וורבלובסקיה (Флора Осиповна Вербловская), הייתה מוזיקאית ילידת וילנה, שבה למדה בגימנסיה רוסית. היא חינכה את בנה באהבה לשפה הרוסית, למוזיקה ולספרות.
בשנת 1897 עברה המשפחה לסנקט פטרבורג. דמות העיר, עם ארמונותיה הקלאסיים, שבה הכול הלך בניגוד לאורח החיים היהודי בגלות, השפיעה רבות על התפתחותו. בין השנים 1900–1907 למד מנדלשטם בבית הספר המתקדם ברוחו, אחד הטובים שהיו בעיר.
שירת הסימבוליסטים הצרפתים (ובראשהּ שירתו של פול ורלן) השפיעה רבות על יצירתו בתחילת דרכו. מהמשוררים הרוסים השפיעו עליו פיודור טיוטצ'ב ופיודור סולוגוב. בשנת 1912 הצטרף מנדלשטם לזרם האקמאיזם, לאחר שהכיר את אנה אחמטובה וניקולאי גומיליוב. את ההיכרות הזו ראה כמזל גדול. בהצטרפות לאקמאיזם התנתק מהסימבוליזם, שכן זרם אחד היה מנוגד למשנהו: האקמאיסטים ניסו להשתחרר מהסימבוליזם המעיק, המעורפל והמיסטי לשיטתם; יצירתם של האקמאיסטים התאפיינה בדיבור ישיר ומאופק, תוך שימת דגש על מילה בודדת. החיפושים הפואטיים של התקופה הזו ביצירתו של מנדלשטם באו לידי ביטוי במבחר השירים הראשון - "האבן" (ברוסית: "Камень"), שראה אור לראשונה בשנת 1913.
את השירים שכתב בשנות מלחמת העולם הראשונה ומהפכת אוקטובר איחד ופרסם במבחר "Tristia" (ספר עצבות), 1922. בשנת 1923 פרסם את הספר שנית כגרסת המחבר תחת הכותרת "הספר השני", והקדיש אותו לאשתו נדיז'דה יקובלבנה חאזינה, שאותהּ הכיר בקייב בשנת 1919. בשירים מהספר "Tristia" מסתמן המעבר מהאקמאיזם והרציונלי לאי-רציונלי וטרגי, לפואטיקת האסוציאציות המורכבות מאוד.
התפתחות הפואטיקה הבאה נשקפת בשירתו של שנות ה-20. היא מתאפיינת בערפול ובאלוזיות תרבותיות רבות. ממאי 1925 ועד אוקטובר 1930 נמשכה תקופת הפסקה ביצירה פואטית, שבה התמקד מנדלשטם בפרוזה.
בשירתו בשנות ה-30 התנתק באופן הפגנתי לא רק מהמציאות הסובייטית, אלא גם מהתרבות הרשמית של המדינה. הוא נטל על עצמו את המשימה לבנות את התרבות החדשה מאפס – את התרבות שלא סומכת על הישגיהם של הדורות הקודמים. המסה "שיחה על דאנטה" (1933) נחשבת לנאום פרידה מהתרבות הרשמית.
בשנת 1933, בשיא שנאתו כלפי המשטר הסובייטי, כתב מנדלשטם את המכתם המתנגד לסטלין: "את הארץ תחתנו איננו חשים" (רוסית: "Мы живем, под собою не чуя страны").
"את הארץ תחתינו איננו חשים", מן הספר "שירי 1933 - השיחה על דנטה" בהוצאת חבר לעט:
"אֶת הָאָרֶץ תַּחְתֵּינוּ אֵינֶנּוּ חָשִׁים,
דִּבּוּרֵינוּ מֵעֶשֶׂר פְּסִיעוֹת לֹא שׁוֹמְעִים,
אַף אִם אֵיזוֹ שִׂיחוֹנֶת יַפְטִירוּ
אִישׁ הָהָר שֶׁבַּקְּרֶמְלִין יַזְכִּירוּ.
כְּתוֹלַעַת הֵן אֶצְבְּעוֹתָיו הַשְּׁמֵנוֹת,
וּכְאֶבֶן מִשְׁקַל מִלּוֹתָיו נְכוֹנוֹת,
צוֹחֲקוֹת לַתִּיקָן הָעֵינַיִם
וּבוֹרְקִים אֶצְלוֹ הַמַּגָּפַיִם."
זו הייתה פגיעה ישירה וכבדה בסטלין, הלוא הוא "איש ההר שבקרמלין" (סטלין נולד בעיר גורי שלמרגלות הרי הקווקז, ומכאן הכינוי "איש ההר"). בשל כך נאסר מנדלשטם והוגלה לעיר קטנה בהרי אורל. בהמשך הותר לו לבחור במקום התיישבות, והוא בחר בעיר וורונז', שבהּ גר בין השנים 1934–1937. על פגיעה שכזאת בסטלין זה היה עונש קל מאוד. בשנים אלה מאות אלפים הוצאו להורג רק בשל חשד שלא היו נאמנים למנהיג הרודן.
במאי 1937 התירו למנדלשטם לעזוב את וורונז'. כעבור שנה נאסר שנית ונשלח למחנה אסירים ולדפרפונקט (רו') ששכן ליד תחנת הרכבת ווטאראיה רצ'קה (רו'), שם נפטר מטיפוס ב-27 בדצמבר 1938. המשטר הסובייטי טיהר את שמו רק בשנת 1987.