הולדמן נולד בלוס אנג'לס שבקליפורניה למשפחה פעילה מבחינה חברתית. אביו, שהקים וניהל חברה מצליחה לאספקת חימום ומיזוג, השקיע מזמנו ומכספו בתמיכה במפלגה הרפובליקנית. אמו, בטי, התנדבה למשך זמן רב בצבא הישע ובארגונים התנדבותיים אחרים. הוא ואחיו, טום ובטסי, גודלו כחברים בכנסייה המדעית. בימי בית הספר הלך עם תספורת שטוחה וקפדנית, איתה נשאר בבגרותו כך שזו הפכה לסימן ההיכר שלו. הוא נישא לחברתו מהתיכון, ג'ואן הורטון, ב-1949.
הולדמן פגש את ריצ'רד ניקסון לראשונה בשנות ה-50. הוא היה פעיל בקמפיין של ניקסון לסגנות-הנשיא ב-1956, ולאחר מכן ראש הפעילים בקמפיין הכושל לנשיאות ב-1960. ב-1962 מונה הולדמן למנהל הקמפיין של ניקסון לתפקיד מושל מדינת קליפורניה, אך ניקסון הפסיד פעם נוספת. ב-1968 הצטרף כמועמד לתפקיד ראש הסגל של הבית הלבן לקמפיין לנשיאות של ניקסון, שזכה בבחירות.
לאחר הזכייה בבחירות, מונה הולדמן לתפקיד ראש הסגל בבית הלבן. הוא וג'ון ארליכמן (אנ'), יועצו של ניקסון, כונו על ידי עובדי הבית הלבן "חומת ברלין" עקב נטייתם להרחיק אחרים מניקסון, כמעין "שומרי ראש". שניהם הפכו לאנשים הנאמנים והקרובים ביותר לנשיא בתקופתו בתפקיד, ועשו הכול לשמירת האינטרסים של ניקסון, מנקודת מבטם. הולדמן אף התייחס לעצמו כ"בן הכלבה" (אנ') של ניקסון.
הולדמן היה דמות מפתח בפרשת ווטרגייט. שמונה עשרה וחצי הדקות החסרות מהקלטותהחדר הסגלגל היו של שיחה בין הולדמן לנשיא. לאחר עדות מרשיעה של ג'ון דין, יועץ הבית הלבן, ביקש ניקסון מהולדמן ומארליכמן להתפטר במה שתואר כשיחה אמוציונלית בקמפ דייוויד. ב-30 באפריל1973 התפטרו השניים, זמן קצר לאחר פיטוריו של דין.
ב-1978 פרסם את הספר "קצות הכוח", בו לקח אחריות להכשרת הקרקע לפרשת ווטרגייט, בניגוד לארליכמן שמעולם לא סלח לניקסון על שלא חנן אותו. הספר גם טען לקנוניה מצד ה-CIA לכיסוי עובדות רבות אשר היו פוגעות בסוכנות, כולל פרטים הנוגעים לרצח קנדי. בהתבסס על מידע זה, הציג אוליבר סטון, בסרטו "ניקסון" משנת 1995, גרסה על-פיה 18 וחצי הדקות החסרות הכילו שיחה בה דובר על גרסת הכיסוי לרצח קנדי. בספרו טוען הולדמן שכאשר ניקסון ביקש ממנו להודיע ל-FBI שחקירת ווטרגייט יכולה "לפתוח את כל עניין מפרץ החזירים", כפי שצוטט בקלטות, התייחס ניקסון לרצח קנדי. הולדמן מת בנסיבות בלתי-ידועות בביתו בסנטה ברברה שבקליפורניה, אחת הסברות היא שהוא מת מסרטן בבטנו. גופתו נשרפה ואפרו פוזר במקום לא ידוע. במותו השאיר אחריו את אשתו ג'ו וארבעת ילדיהם - סוזן, הארי, פיטר ואן. לאחר מותו אמר ניקסון: "הכרתי את בוב הולדמן כאיש בעל אינטליגנציה נדירה, כוח, יושר ואומץ...".
יומניו מהתקופה בה עבד בבית הלבן פורסמו ב-1994 כ"יומני הולדמן".
