רז נולדה כרוחמה זרגרי למשפחה בת שבעה ילדים.[1][2] הוריה עלו מאיראן, ולימים רז תיארה אותם כהורים "מודרניים" ש"הקפידו לדבר עברית ותמכו בנו".[2] גדלה והתחנכה בקטמונים שבירושלים, ולמדה בבית ספר ממלכתי דתי ואחר-כך בתיכון באקדמיה למוסיקה בירושלים.[2] את דרכה כזמרת החלה בילדותה יחד עם אחותה, בצמד שהופיע באירועים בבית הספר ובפסטיבלים בירושלים.[1] ב־1968 השתתפה ב"פסטיבל כישרונות נוער בבירה", שתועד על גבי תקליט, ובו שרה את השיר "לך ירושלים".[3] למדה זמרה קלאסית וגיטרה קלאסית.[1]
ב־1979 הוציאה אלבום בשם "חלומות", בו נכלל אחד מלהיטי הסולו הגדולים ביותר שלה, "חלומות", שכתבה רחל שפירא ללחן של יאיר קלינגר. כמו כן נכללו בו השירים "בחופשתו" (רחל שפירא, מוני אמריליו) ו"שיר הלל" (ניסן פרידמן, עממי צרפתי). בדצמבר 1979 השתתפה שוב בפסטיבל שירי הילדים מספר 10 עם השיר "אב לילדתו אומר" (מילים: נחום שגיב, לחן: ניר טנא, עיבוד: אילן וירצברג).
ב־1982 השתתפה בתקליט שירי הילדים "28 שירים ראשונים לגיל הרך".
ב־1983[5][2] נישאה ליגאל גוֹטֶסדינֶר,[6] חבר קיבוץ גל-און שהיה מבוגר ממנה בעשר שנים, אלמן ואב לשלושה.[2] היא עזבה את ירושלים ועברה לקיבוץ, שם נולדו לזוג שתי בנות והיא המעיטה בפעילות מוזיקלית והתרכזה בגידולן.[7]
רז חזרה להופיע באמצע שנות השמונים והקליטה את אלבומה "חדשה בעיר", שיצא ב־1988. לראשונה החלה רז לבצע שירים בסגנון פופ ורוק רך. בין השירים הבולטים: "ובלילה", "את מי את אוהבת רוחי", "כל כך דומים" ובעיקר "תמיד אותו מדבר".
את אלבומה "בלב מולדת קטנה", שיצא ב־1991, הפיק שם טוב לוי, שגם הלחין מספר שירים לאלבום. באלבום זה נכללים השירים "כחכות רחל", שנכתב על ידי רחל שפירא, ו"במקום פרידה", שרז כתבה לזכר אחותה הבכורה מרים, שנרצחה בפיגוע בקו האוטובוס 405 ב־1989.[8]
ב־1999 השתתפה רז בשני שירים של להקת כנסיית השכל, "היא הולכת" ו"היינו עושים אהבה", שהופיעו באלבומה של הלהקה, שנקרא "כנסיית השכל".
ב־2003 יצא אלבומה "אתה יקר לי", שהורכב משירי רחל שפירא וזכה לקבלת פנים חמה. באלבום נכללה גרסה מחודשת ל"חלומות".
ב־2004 זכתה במקום השני בפסטיבל הלאדינו, שהתקיים במסגרת פסטיבל ישראל, עם שירה "הכלה" (LA NOVIA).
ב־2005 הוציאה את אלבום הילדים "ספינה משוקולד", שכלל שירים וקטעי קריאה קצרים שכתב אלי רווה. את השירים הלחין רוברט ניסנזון ואלדד ירון עיבד מוזיקלית את האלבום.
ב־2007 השתתפה בהקלטת השיר "רוח האדם" (למילים ולחן של סי היימן, בשמת אדמון והמשוקם סיני מיתקי) יחד עם אמנים רבים, להגברת המודעות לשיקום נפגעי נפש בדרך עמותת אנוש. בחנוכה באותה שנה השתתפה בפסטיבל ילד פלא וזכתה במקום השלישי עם השיר "אוספת בי ימים" (שכתבה נורית בת-שחר צפריר והלחין ליאור דטאוקר). בדצמבר של אותה שנה הוציאה רז אלבום הנקרא "פיסת שמיים", בו היא חידשה כמה משיריה בסגנון קלאסי והוסיפה שירים חדשים. מבקר המוזיקה ישי ויסמן שיבח את האלבום בכתבתו למגזין פנאי פלוס: "האלבום מאופיין בגוון קולי עשיר, את שירתה המדהימה (ואין לי הגדרה אחרת) של רוחמה מלווים אנסמבלים ומקהלות קלאסיות. אלבום נוסטלגי ומתוק כמו געגוע לארץ ישראל התמימה של פעם." על האלבום זכתה רז בפרס אמ"י על שם אהוד מנור, על תרומה לזמר העברי.
ב־2010 הוציאה, בעזרת מרים משולם ובהפקתה, את האלבום "שיר השירים אשר לשלמה", ובו היא מבצעת משירי שיר השירים בלחנים של מרקו בחט.
רז מזוהה עם עיר הולדתה ירושלים, ורבים מהשירים ששרה מוקדשים לעירה, בהם "לכל אחד ירושלים" ו"עיר ואם".
רוחמה מתאפיינת בסגנון שירים שניתן להגדירם כ"שירי ארץ ישראל היפה והטובה". על כך היא כונתה "הזמיר מירושלים".