Rihm completa i suoi studi in composizione nel 1972[2] alla Hochschule für Musik Karlsruhe, solo due anni prima della première al Festival di Donaueschingen di Morphonie-Sektor IV, uno dei suoi primi e importanti lavori (1974), che lo lanciò nella nuova scena musicale europea di quel periodo.[2][3] Le pagine di questi primi lavori, seppur vicine alle avanguardie postbelliche, presentano un carattere connesso alla tradizione sinfonica del passato, tanto ad essere state considerate addirittura "reazionarie" rispetto alle avanguardie stesse[2][3] (capeggiate da compositori quali Boulez e Stockhausen, con il quale studiò nel 1973)[3]. In realtà, la poetica di Rihm è molto personale e prende le distanze, sia della imposizioni delle avanguardie, sia dalle tendenze, tutte nostalgiche, dei reazionari.[3] Compositore molto prolifico,[3] ha all'attivo centinaia di brani completati, buona parte dei quali devono ancora essere registrati;[2] non considera mai un lavoro come terminato, molto spesso rivedendo anni dopo le sue partiture, apportandovi delle modifiche anche consistenti (un esempio: Ins Offene... (1990); la riscrisse quasi del tutto nel 1992, riutilizzandola, poi, come base per il concerto per pianoforteSphere (1994), che a sua volta è stato da lui rielaborato per Nachstudie (1994), un lavoro pianistico al quale mise ancora mano nel 2002 per scrivere, prima Nachstudie, Sphäre nach Studie per arpa, 2 contrabbassi, pianoforte e percussioni, poi Sphäre um Sphäre, intesa come una nuova versione di Sphere).[2] Altri lavori importanti sono i 12 quartetti d'archi, Die Hamletmaschine (1983/86), opera basata su testi di Heiner Müller, Die Eroberung von Mexico (1987/1991), opera basata su testi di Antonin Artaud, l'oratorioDeus Passus (1999/2000) e, tra i lavori ancora più maturi, Dionysus-Dithyrambs (2010), su testi di Friedrich Nietzsche.[2] Alcuni tra i compositori che hanno influenzato maggiormente il suo stile sono Luigi Nono, Helmut Lachenmann e Morton Feldman.[2]
