הסימנים המוקדמים ביותר להתיישבות בעיר הם משנת 800 לפנה"ס. המתיישבים הראשונים נמשכו לאזור ככל הנראה בשל ברזל שהיה קל יחסית לחציבה במקום, ונקודת מעבר רדודה בנהר מרת' שבה היה קל יחסית לצלוח אותו. ב-1050 בנה במקום ז'ראר, דוכס לורן, עיירה מבוצרת שנקראה אז נאנסיאקום.
אחרי מותו ב-1766 של סטניסלאב לשצ'ינסקי, שהיה דוכס לורן מ-1738 ולפני-כן מלך פולין, הפכה הדוכסות לפרובינציה צרפתית, שנאנסי נותרה בירתה. כשנוצר חבל לורן במחצית המאה ה-20, הוחלפה הבירה במץ.
ב-1790, במהלך המהפכה הצרפתית, התרחש בנאנסי מרד, ולאחר שהוטל מצור על העיר, המורדים נורו או נעצרו.
בשנת 1286 רכשו יהודים בית קברות בכפר הסמוך לנאנסי, לקסו Laxou (החל מהמאה ה-20 הוא הפך לאחד הרבעים של העיר נאנסי).[1] יישוב יהודי בעיר עצמה התקיים בנאנסי מאמצע המאה ה-14 ועד לגירוש היהודים מדוכסות לורן בשנת 1477. הקהילה התחדשה זמנית באמצע המאה ה-16, ולאחר מכן חדלה להתקיים עד ראשית המאה ה-18 תחת הדוכסות של לאופולד דוכס לוריין.[1]
בשנת 1790 נחנך בית הכנסת של קהילת יהודי נאנסי. בעקבות המהפכה הצרפתית, בשנת 1808 תחת שלטונו של נפוליאון בונפרטה הראשון הוקמה הקונסיסטוריה המחוזית של יהודי נאנסי. בשנת 1939, ערב מלחמת העולם השנייה ושואת יהודי צרפת, מנתה הקהילה היהודית בנאנסי כ־3,800 נפש.[1] בזכות אדוארד ויגנרון, ראש שירות הזרים בתחנת המשטרה המרכזית בנאנסי, סגנו פייר מארי ואנשיהם חולצו יותר מ־350 מתוך 385 היהודים שאוימו ישירות בעיר נאנסי במסגרת האקציה הראשונה שערכו הנאצים בעיר. על כך העניק יד ושם לכל אחד מהם את אות חסיד אומות העולם.[2]
החל מ-2020 רב העיר הוא החזן והזמר הרב שמואל שפירו.
