אהרון ירימי החל את דרכו המוזיקלית בגיל 14. את הכישרון למוזיקה ולשירה רכש מאביו, שוקר ירימי, שהיה זמר ופייטן בקהילה בתימן.
בשנת 1978 הקים את להקת "גחלת" עם הנגנים רוני בוני בתופים וכלי הקשה, יוסי מדמוני גיטרה סולו והקלידן קובי אחרק. אז גם הוציא קלטת ראשונה על טהרת השירה התימנית, בעידודו של סולן להקת "צלילי העוד" רמי דנוך, שטיפח כבר אז את ירימי.
בשנת 1981 גילה אותו דקלון, סולן להקת "צלילי הכרם", וביקש ממנו להצטרף ללהקה כסולן שני, זאת בשל פרישתו של חיים משה מהלהקה. ירימי הופיע כסולן לצידו של דקלון למעלה מ-8 שנים. הלהקה צברה הצלחה מרובה, והופיעה ברחבי ישראל ומחוצה לה.
גם לאחר פירוקה של הלהקה, נמשך שיתוף הפעולה במשך שנים.
ב-1988 הוציא את אלבומו "צא מזה" בהפקתו של משה בן מוש, מייסד להקת "צלילי הכרם" בחברת התקליטים של האחים בן-מוש. בין להיטיו המוכרים: "צא מזה", "קול קורא לאדם", ובו גרסת כיסוי לשיר "אלייך", אשר הפך ללהיט בביצועו.
בשנת 1989 זכה ירימי במקום השני בפסטיבל "שיר השירים" עם שירו "מכל אוהביך" (במקומות הראשון והשלישי זכו נתי לוי ושלומי שבת).
בשנת 1994 יצא אלבומו השני "קומו נעלה", אשר כלל את הלהיטים ״בתורתך בחרתי״ ו״לילה לילה״, וכן שתי מחרוזות שירים בעברית ובערבית.
בשנת 1998 התפרסם האלבום השלישי שלו, "אהרון ירימי בחפלה עם בן מוש", שכלל ברובו מחרוזות בעברית, ערבית ותימנית, וכן את השיר ״תני סימן״. בשנת 2004 יצא אלבומו הרביעי, "24 שעות ביממה".
בשנת 2016 יצא האלבום "רצה שיחי" של שירה אתנית תימנית, פרויקט לשימור השירה התימנית בשיתוף "אעלה בתמר".
בשנת 2018 יצא האלבום "משירי הכרם" בהשתתפותו. באלבום שירים של להקת צלילי הכרם בשיתוף חברי הלהקה דקלון וחיים משה.
כחלק משיתופי הפעולה של ירימי עם מיזמים מוזיקליים הוא הקליט בשנת 2019 את הדואט עם אביהו מדינה "תפילת חנה".
כיום מופיע אהרון ירימי גם עם הרכב מוזיקלי לצידו של משה בן מוש מ"צלילי הכרם", בתוכנית "משירי הכרם".
