הולצברג נולד כבן זקונים לשמואל וציפורה בוורשה, פולין. המשפחה הייתה חרדית וענייה ולהולצברג היו עוד אח למחצה ואחות גדולה. בשואה עבר עם משפחתו בגיל 16 לגטו ורשה. שם התפרנס ממסחר זעיר. בתשעה באב של שנת 1942 נשלחה משפחתו של הולצברג להשמדה בטרבלינקה. הולצברג אף השתתף במרד גטו ורשה ולאחר חיסול הגטו בשנת 1943 נלקח למחנה בודזין. בשנת 1945 שוחרר ממחנה הריכוזברגן-בלזן בידי הצבא הבריטי, לאחר ששכל את כל משפחתו בשואה.
לאחר המלחמה שהה שנה בגרמניה בחוות הכשרה ובנוסף הצליח במסחר. בשנת 1946 נשא את מלה, ניצולת שואה גם היא.
לשניים נולד בנם הבכור שמואל, שנקרא על שם אביו של הולצברג. אשתו ובנו עלו לישראל ובשנת 1949 הצטרף הולצברג אליהם. בישראל נולד בנם השני, אפרים, כעבור כשנה. המשפחה השתקעה בבני ברק והולצברג השקיע את הכסף שהרוויח בגרמניה בעסקים, שנכשלו בחלקם. לאחר הגעתו ארצה החל לבקר בקביעות ניצולי שואה שאושפזו בבתי חולים לחולי נפש, דבר שעשה כבר בגרמניה.
עם השנים התפרנס מקנייה ומכירה של חפצי יודאיקה ויצירות אמנות. במשך שנים ניהל מאבק נגד התקרבות ישראל לגרמניה, במהלכו ארגן הפגנות ונעצר מספר פעמים. בספטמבר 1966 נעצר כאשר חילק ליד ביתו של נחום גולדמן בעת פגישה עם יו"ר הבונדסטאג, את שירו של יצחק קצנלסון, "אבוי לך, עם רוצחים"[1]. מעצרו ב-5 בנובמבר 1967 זכה לתשומת לב ציבורית, בעת שהפגין בתל אביב עם בנו כנגד ביקור ראש ממשלת גרמניה לודוויג ארהארד. במאבקו נגד נירמול היחסים עם גרמניה נעזר בעורך הדין דב שילנסקי, ניצול שואה בעצמו.
הולצברג התקרב לרב אריה לוין, המכונה "אבי האסירים", ובהשפעתו החל לאחר מלחמת ששת הימים להקדיש את זמנו לחיילי צה"ל הפצועים, הנכים, אלמנות ויתומים, בהם תמך תמיכה נפשית וכלכלית[3]. הולצברג יצר קשר אישי עם חיילים רבים וביתו הפך במשך השנים מוקד לעליה לרגל לרבים. הוא אף השתתף בחתונותיהם של פצועים רבים שהחלימו. בשל פעולותיו הרבות בתחום זה, נודע הולצברג בכינוי "אבי הפצועים".
הולצברג לקה בלבו ונפטר במהלך אזכרה להרוגי אוטובוס הדמים, שנערכה בצומת גלילות. נטמן בבית הקברות סנהדריה בסמוך לרבו – אריה לוין. הותיר אחריו שני בנים, שמואל ואפרים. לאחר פטירתו שבו בנו הבכור וגרושתו לישראל.
שמחה חילק כל כך הרבה מליבו לאנשים אחרים – עד שלא נשאר לו בשביל עצמו ואתמול, מול עיניהן של משפחות שכולות ובחוג אוהביו, הנכים, עצם את עיניו.
קשה מאוד היה להתחרות בשמחה באהבת הארץ, ועוד היה קשה, כמעט בלתי אפשרי, להתחרות בו באהבת האדם: האיש שהיה אוד מוצל מאש השואה, דאג דאגת-אמת למדינת ישראל, מקלטם של פליטי השואה ועשה הכל ובכל הלב, כדי שלא נשכח. השואה הנוראה ליוותה אותו כצל כל ימיו והייתה חומר הדלק שהזין את אהבתו למדינה, לפצועים, לנכים, למשפחות השכולות...
בשמם של אלפים שזכו למילת עידוד ממנו בשעות הקשות ביותר לחייהם; בשמם של אלפים שיזכרו את השוקולדים המתוקים שלו ברגעים המרים ביותר; בשמם של כל הפצועים, הנכים, והמשפחות השכולות; בשמו של צה"ל ובשמה של מדינת ישראל – אני מצדיע לך שמחה.
מעוזיה סגל, נכה צה"ל, נפגש עם הולצברג במשך שנה ושמע ממנו את סיפור חייו. במשך חמש שנים הוא עיבד את חוויותיו של הולצברג לביוגרפיה בשם "שמחה בלב", שיצא לאור בשנת 2000, לאחר מותו של הולצברג.
בשנת 2007 הפיק הבמאי ילון גורביץ, שפגש את הולצברג לאחר פציעתו במלחמת לבנון הראשונה, את הסרט התיעודי "לתת" על הישרדותו של הולצברג בשואה. להכנת הסרט נעזר גורביץ במעוזיה סגל.
