בפירמונט נובע מעיין מים מינרלים צוננים, שדומה למעיין בד פירמונט הסמוך להנובר, גרמניה, על שמו הוא קרוי. ב-1864 נבנתה בפרוור הכנסייה הפרסביטריאנית הראשונה באזור סידני. לאחר שהקהילה ששורתה שם גדלה מעבר לקיבולת הכנסייה, התפלגה הקהילה לשתיים וחלקה עבר לכנסייה סמוכה, באולטימו.
טרם ההתיישבות האירופאית, האבורג'ינים שישבו במקום קראו לו "פיראמה". הכביש בקצהו של פירמונט עדיין נקרא בשם זה, לזכר ההתיישבות הילידית במקום. שטר הקניין הראשון על פירמונט הוענק ב-1795, והשטח חולק ונמכר בשנית ב-1799 בעבור גלון אחד של רום לקפטן ג'ון מקארת'ור. אזור פירמונט הוקצה למכרותאבן חול, מחצב ששימש כחומר בנייה למרבית הבתים סביב סידני במאה ה-19. ב-1900 גרו בפרוור כ-30,000 איש, אך במרוצת המאה ה-20 הוא הפך לאזור תעשייתי וכמות התושבים שבו הייתה נמוכה, עד שהגיעה לפחות מ-900 ב-1991; בתחילת המאה ה-21 חלה חזרה של תושבי העיר למגורים בפירמונט.
תרבות
בפירמונט נמצא הקזינו הגדול באזור סידני, סטאר סיטי קזינו, המשקיף על דרלינג הרבור. קזינו זה כולל שתי קומות משחקי הימורים, שמונה פאבים, שבע מסעדות ו-350 חדרי אירוח. כמו כן מצוי בפרוור שוק הדגים של סידני, בצדו של בלקוואטל ביי. שוק זה הוא הגדול מסוגו בסידני ומושך קהל מקומי וקהל תיירים, ולטובת תעבורת הנוסעים הרבה נבנתה תחנת רכבת קלה הקרויה על שמו בסמוך.