נולד כבן זקוניו של האדמו"ר מגור רבי אברהם מרדכי אלתר, בעל ה"אמרי אמת", שהיה בן 60 בעת לידתו, והיה אחיהם למחצה של רבי ישראל אלתר, בעל ה"בית ישראל", ושל רבי שמחה בונים אלתר, בעל ה"לב שמחה". אמו, פייגה מינטשא הייתה בתם של אסתר (אחות אביו) ורבי יעקב מאיר בידרמן[1].
הצליח להימלט מאירופה עם אביו אחר כיבוש פולין על ידי גרמניה, ועלה לארץ ישראל בפסח ת"ש1940. התגורר בירושלים. אביו שכר עבורו כמורה פרטי את הרב חייקל מילצקי[2]. בי' בתמוזתש"ו (1946) נישא לציפורה, בת רבי אברהם מרדכי אלתר, בנו של רבי משה בצלאל, אחיו של ה'אמרי אמת'. לאחר נישואיו התגורר סמוך לאביו. עם פטירת אביו עבר להתגורר עם אמו בבניין שבו נמצאת עד היום ישיבת שפת אמת. התגורר כל ימיו בדירה זו, בת 3 חדרים עם מרצפות וריהוט ישנים.
ב-1957 מונה לראשות הישיבה על ידי אחיו, רבי ישראל, שכיהן אז כאדמו"ר מגור. רבי ישראל נכח בשיעור הראשון שאותו מסר. קודם לכן התפרנס מניהול חנות ספרים. גם כראש ישיבה הקפיד על קיום אורח חיים צנוע. במשך שנים היה דוברם של אֶחיו רבי ישראל ורבי שמחה בונים (שכיהן גם הוא כאדמו"ר לאחר פטירת רבי ישראל). בתפקיד זה סייעו לו כישוריו הרטוריים.
בשנת 1992 נפטר אחיו רבי שמחה בונים. במהלך ימי השבעה התעורר בחסידות הדיון את מי למנות כיורשו, את רבי פינחס מנחם, אחי האדמו"ר, או את רבי יעקב אריה אלתר, בנו של רבי שמחה בונים[3]. בסופו של דבר הוסכם שרבי פינחס מנחם יהיה האדמו"ר הבא, והוא התחייב בכתב לכבד את נכדיו של רבי שמחה בונים לא פחות מאת נכדיו שלו, וכן שלאחריו יקבל את התפקיד רבי יעקב אריה (האדמו"ר הנוכחי)[4]. רבי פינחס מנחם כיהן בתפקיד כשלוש וחצי שנים, עד לפטירתו. פנו אליו גם רבים שלא נמנו על חסידי גור. נהג למסור שיחות ודרשות ארוכות יחסית. נהג להאריך בתפילתו, בליווי תנועות של התלהבות - כמו ראשי השושלת, החידושי הרי"ם ושפת אמת, ושלא כאביו ואֶחיו האדמורי"ם הקודמים. האריך יחסית בשיחות עם הבאים אליו להתייעצות, גם זאת כמנהג האדמו"רים הראשונים של השושלת. בדברי תורתו עסק רבות בענייני "עין טובה" ו"קדושה" ודרש מחסידיו להגביר את האחווה ביניהם.
עשרות ההרוגים בפיגועי ההתאבדות שהתרחשו בתקופה האחרונה לחייו השפיעו על מצב בריאותו. בימים שבהם נהרגו אנשים סירב לאכול. הוא התבטא בתכיפות לפני אישי ציבור שנכנסו לחדרו על האסון שמביא לדעתו "הסכם אוסלו" על חיי ישראל. לאור המצב, פִרסם בעיתון המודיע יומיים לפני פטירתו מכתב הפותח במשפט "עת צרה היא ליעקב, אשר יגורנו והוזהרנו בא"[5]. נפטר בשנתו, מספר שעות לאחר שערך את שולחנו במוצאי חג הפורים, ליל ט"ז באדרתשנ"ו (1996)[6].
נישא בי' בתמוז ה'תש"ו, 9 ביוני 1946 לציפורה אלתר, בת הרב אברהם מרדכי אלתר בן רבי משה בצלאל, ונכדת הרב שאול משה זילברמן (נפטרה בי' בסיון תשפ"ד, 16 ביוני 2024).
לרב אלתר נולדו שישה בנים ובת. אחד מבניו נפטר בילדותו. מבניו:
הרב יהודה אריה - היה חתנו של הרב מנשה קליין. מונה בגיל צעיר לרב שכונת רוממה בירושלים ולראש הכולל של חסידות גור בעיר. חיבר כמה ספרים[8]. נהרג בתאונת דרכים בגיל 28. על שמו רחוב "ארי במסתרים" בשכונת רמות[9].
הרב יצחק דוד, ראש כולל להוראה בבית המדרש גור בבני ברק[10].
^על נסיבות קבורתו ועוד ראו: ראובן גפני, מושיבים ישיבה על קברו – זיכרון, תרבות וגאוגרפיה סביב קבר אדמו"רי גור בשכונת מחנה יהודה בירושלים, בתוך "על אתר" גיליון ט"ו, הוצאת תבונות, מכללת הרצוג. עמ' 105-118