שרעבי נולד בתל אביב למשפחה בת עשרה ילדים להורים יוצאי תימן.
הוא החל לתופף כבר בגיל 10. מאמצע שנות ה-60 ועד סופן תופף במספר להקות קצב, ולעיתים גם היה שר בלהקות בסגנון רוק. הלהקה הראשונה שבה השתתף נקראה "כובשי הקצב", והיו בה חברים גם גרי אקשטיין ומיקי גבריאלוב. לאחר מכן ליווה בכלי הקשה, קסילופון, חליליות וחליל את להקת המחול "כרמון", בישראל ובחו"ל.
לפרסומו הראשון זכה שרעבי בשנת 1971. באפריל של אותה שנה הגיע לרדיו שירו הראשון, Pamela, ששר באנגלית.[1] בסוף אותה שנה הוציא שרעבי את אלבום הבכורה שלו, "בעז" בעטיפה אדומה, שבו היו בין השאר הלהיטים: Pamela, Ringoli, Reality, Zero zero, Blue as the sea חמישתם באנגלית, "פמלה" בעברית, "מאמא מייבלי" שביצע עם אלכסנדרה ו"בואי". בדצמבר 1971 זכה בפרס כינור דוד כמלחין השנה.[2]
במקביל התפרסם שרעבי גם כמלחין לזמרים אחרים, ובין שיריו המוכרים באותה תקופה היו "חופשי ומאושר" ו"רינגולי" (בגרסה עברית) שהקליטו אילן ואילנית, "פעם לאהוב" בביצוע אילנית,[3] "הלילה הארוך ביותר בעולם" בביצוע ששי קשת, ו"פמלה" בביצוע יפה ירקוני שהיה הביצוע העברי המקורי לשיר, לפני ששרעבי הקליט אותו עבור אלבומו.
בסוף שנת 1973 הקליט שרעבי את שירו של עוזי חיטמן "מי ידע שכך יהיה" (עיבוד: קובי אושרת), לאחר שהשניים שירתו כצוות הווי בידור במילואים בתקופת מלחמת יום הכיפורים. שלושת השירים כולל גרסה משלו ל"חופשי ומאושר" נכללו באלבומו השני של שרעבי, שנקרא גם הוא "בעז" בעטיפה ירוקה ויצא ב-1973. גם אלבום זה שילב שירים בעברית ובאנגלית.
באפריל 1974 השתתף בפסטיבל הזמר והפזמון תשל"ד עם "לפעמים אני מרגיש שאני צריך כנפיים" (מילים: יורם טהרלב, לחן ועיבוד: יאיר רוזנבלום).
בשנת 1978 יצא אלבומו השלישי של שרעבי שנקרא גם כן "בעז" (ומאוחר יותר בתור "שיר השירים") בעטיפה פרחונית/צבעונית, שריכז את הקלטותיו מהשנתיים שקדמו לצאתו אשר כללו ביניהם את "מה להם ולבני אדום" (שיצא בסוף 1974, וכתב והלחין עוזי חיטמן) ו"הללויה" (שכתב אורי ברזילי והלחין יהודה בדיחי, איתו השתתף בפסטיבל הזמר המזרחי ב-1975).[4]
בסוף שנת 1978 עזב שרעבי את ישראל ונסע לארצות הברית. בטרם עזיבתו השתתף יחד עם ארבעה מאחיו (ברוך, יואל, נחמיה ועמוס) תחת השם "השרעבים" בפסטיבל הזמר המזרחי עם השיר "שדי אל מה נורא" ויחדיו זכו במקום הראשון. בנוסף לכך, הקליט את השיר "את לי לילה" שאת מילותיו כתב יחד עם יואל גוב ארי. השיר אותו עיבד יגאל חרד, זכה להצלחה, ונחשב לאחד מלהיטיו הגדולים ביותר של שרעבי. בשנת 1981 חידש אותו זוהר ארגוב באלבומו השני "היו זמנים".
בשנת 1983 שב שרעבי לישראל, ובשנת 1984 הקליט את האלבום "אצלי הכל בסדר", בהפקתם המוזיקלית של יזהר אשדות ומשה לוי. האלבום כלל להיטים כ"תני לי יד" (לחן: נורית הירש), ששר שרעבי בסרט "מאחורי הסורגים" שבו גם השתתף כשחקן, "אצלי הכל בסדר", "אהבת לבנת כנף", "למה", ו"את לי לילה", שהקליט שרעבי מחדש עבור האלבום. פרט ל"את לי לילה" ולקטע האינסטרומנטלי "גאות" שהלחין שרעבי, נכתבו כל שירי האלבום על ידי שמרית אור.
בשנת 1986 השתתף שרעבי בקדם אירוויזיון עם השיר "הלוואי" שהלחין למילים של אהוד מנור, ועיבוד של ננסי ברנדס. השיר זכה לנקודה אחת בלבד, והגיע למקום האחרון בקדם, אך בהמשך הפך לאחד משיריו האהובים ביותר של שרעבי. השיר נכלל באלבומו החמישי של שרעבי, "משאלה", שיצא בפברואר 1987.[5] בנוסף האלבום כלל להיטים רבים ובהם: "משאלה", הדואט "לשיר איתך" עם שושנה דמארי, "כל עוד", "לתת" וגרסה מחודשת לשירו של מתי כספי "ברית עולם". את רוב שירי האלבום כתב אהוד מנור, עיבד והפיק מוזיקלית ירון בכר, שגם ניגן בפסנתר ותיכנות תופים. יחד עימו השתתפו בהקלטות גם אלון הילל בתופים וכלי הקשה, ארז נץ וחיים רומנו בגיטרות, ופטר ורטהיימר בסקסופון.
בתחילת 1989 יצא אלבומו של שרעבי "נע ונד", בהפקה מוזיקלית של מתי כספי. בין שיריו המוכרים היו שיר הנושא (מילים: אהוד מנור, לחן: בועז שרעבי ויגאל חרד), "אילת", "כוח להמשיך" (מילים: אהוד מנור, לחן: נחמיה שרעבי) והדואט עם כספי "שלום עליכם" (שיצא שנה לפני האלבום). באותה שנה הקליט שרעבי בדואט עם יהורם גאון את השיר "מה יביא איתו הרוח", שנכלל באלבומו של גאון "ירח מלא".[6]
בשנת 1992 הוציא שרעבי את האלבום "בדרך כלל רומנטי" בחברת התקליטים של "האחים בן-מוש" עם עיבודים של ננסי ברנדס. בין להיטיו הגדולים היו "היה חזק" שכתב שרעבי עם חמוטל בן זאב, "אל תעזבי" שכתבה רחל שפירא, "ואם אהבה יש בעולם", שכתב אהוד מנור.
בשנת 1993 יצא אוסף מיטב להיטיו של שרעבי בשם "את לי לילה". האוסף זכה להצלחה גדולה, מכר יותר מ-250,000 עותקים וזכה בפלטינה מחומשת.
בשנת 1994 קיבל שרעבי את "פרס אקו"ם" על מפעל חיים. באותה שנה הקליט את השיר "כשתבוא", שכתב אהוד מנור על הנווט השבוי רון ארד.[7]
בשנת 1995 יצא אלבום אוסף כפול לשרעבי בשם "כוח להמשיך", שכלל בחלקו הראשון את שיריו המוכרים של שרעבי מאלבומיו ובחלקו השני שירים שהלחין לזמרים אחרים ושירים ששר עם אחרים.
בשנת 1998 יצא אלבומו של שרעבי "כשאת נוגעת בי", בהפקתו של קובי אשרת. שיר הנושא של האלבום, שהלחין שרעבי למילים של אהוד מנור, זכה להצלחה גדולה וגם השירים "צובט לי בלב" ו"חודש בלעדייך" זכו להצלחה. כמו כן כלל האלבום הקלטה מחודשת לשיר "היה חזק". באותה שנה נבחר שירו של שרעבי "לתת" על ידי חיילי צה"ל וכוחות הביטחון כשיר האהוב ביותר בזמר העברי ב"מצעד היובל" של גלי צה"ל.
בשנת 1999 ביצע את ג'ינגל הבחירות של מפלגת הליכוד.[8]
בשנת 2002 הוציא את השיר "עצבות זמנית" שזכה להצלחה ונכלל שנה לאחר מכן בתור תוספת לאלבום ההופעה "הופעה חיה בצוותא".[9]
בדצמבר2006 הוציא שרעבי את "אם את עדיין אוהבת אותי", סינגל ראשון מאלבומו "לנשום" שיצא בפברואר 2007.[10] את האלבום הפיק עמית צח, שגם כתב בו את כל השירים והלחין אותם יחד עם שרעבי. בזכות עבודתם המשותפת על האלבום זכו שרעבי וצח בפרס הישג השנה על שם מרדכי זעירא למלחין מטעם אקו"ם לשנת תשס"ז. שיר נוסף מהאלבום שהצליח היה "ולמרות".
בשנת 2011 הוציא שרעבי את אלבומו ה-13, "מגע הקסם", שבו שב לשתף פעולה עם המפיק ירון בכר. בין שיריו המוכרים היו "אני עובר בסמטאות" ו"כל מה שביקשתי".
ב-30 בדצמבר2012 הוציא שרעבי את "אני שמח בך" סינגל שהלחין ביחד עם עמית צח אשר כתב את המילים לשיר.
במרץ 2015 יצא אלבומו "חיי אדם", שכלל 11 שירים שאת רובם הקליט שרעבי בארצות הברית בהפקתו המוזיקלית של עמית צח, לצד מיקסים של Rayn West זוכה שני פרסי "גראמי". באלבום נכללו הסינגלים "תיקונים" ו-"אמונה", ו"ימים אחרים", חידוש לשיר של הראל סקעת, שכתבה יעל טבת, והלחין עמית צח.
במאי 2017, יצא לאקרנים הסרט התיעודי בעז על אודות סיפור חייו של שרעבי. הסרט הוקרן במסגרת פסטיבל דוקאביב.[11]
בינואר 2018, אחרי היעדרות ממושכת, הוציא שרעבי את שירו "דרך מובילה". שרעבי גם חזר להופיע עם מיטב להיטיו הישנים והחדשים במסגרת סיבוב הופעות חדש.[12]
במרץ 2022, ההסתדרות השיקה מועדון הטבות חדש בשם FRIENDS, שמטרתו להחיות את אולמות מופ"ת שהוקמו לפני שנים רבות. אירוע הפתיחה כלל הופעה של שרעבי וואלרי חמאתי. מתוך המופע יצא חידוש והופק קליפ של השניים לשיר "הלוואי" של שרעבי בשפות עברית וערבית.[14]
ב-25 בפברואר2024, הוציאו שרעבי והזמר יוצר מכלוף דואט חדש בשם "שלם איתך" שנולד כחלק מפרויקט המחבר בין אמנים ותיקים ליוצרים צעירים. את הפרויקט יזמה חברת המוזיקה 'סשן 42'. שרעבי הסכים בתחילה להשתתף בפרויקט עם ביצוע סולו אך החליט להפוך אותו לדואט למשמע קולו של מכלוף.[15]
בשנות השבעים נישא לליאורה, ולאחר מספר שנים הם התגרשו.
אשתו השנייה הלן, שלה הוא נישא ב-1986 שימשה כאשת יחסי הציבור של הזמר זוהר ארגוב. השניים התגרשו לאחר כשנה וחצי. הלן הייתה מכורה לסמים והתאבדה בבית הסוהר נווה תרצה ב-28 בדצמבר1991.[18]
בשנת 2004 נישא שרעבי בשלישית לפנינה צדוק הצעירה ממנו ב-30 שנים, ולשניים בן בשם עדי שנולד באותה השנה, ושנקרא על שם אחותו התאומה של שרעבי, עדה. שרעבי וצדוק התגרשו בשנת 2006.