Jean Musy war als Pianist Autodidakt. Als Kind begann er nach dem Gehör Piano zu spielen; erste öffentliche Auftritte hatte er im Alter von 7 Jahren, als er in Jean Nohains Sendungen für Radio Luxembourg dessen Gäste am Piano begleitete.[2]
Ab dem Alter von 13 Jahren spielte er Piano und Hammondorgel in Pariser Jazzclubs, wie dem „Le Chat qui pêche“ und „Aux trois Mailletz“.[3] Mit 16 Jahren gründete er das Jean Musy Orchestra und veröffentlichte unter diesem Namen erste Jazz-Alben, die bei WEA Records herausgebracht wurden.[2] In dieser Zeit lernte er den amerikanischen Gitarristen Mickey Baker kennen, der damals als Studiomusiker und Arrangeur für Johnny Halliday arbeitete. Baker engagierte ihn für eine einjährige Konzerttournee als Begleiter von Nino Ferrer.[4] Aus ihrer Zusammenarbeit entstand die EP Je veux être noir (1966).
Ab Mitte der 1970er Jahre arbeitete er auch als Arrangeur und Filmkomponist für das Kino und das Fernsehen, überwiegend in Frankreich. Eine seiner ersten Arbeiten war die Musik für die französisch-japanische Miniserie Die Vögel im Park von Meiji Jingu mit Claudine Auger in der weiblichen Hauptrolle. In den späten 1970er Jahren hat er intensiv mit Francis Lai kooperiert, für den er zahlreiche Arrangements (Bilitis, International Velvet) geschrieben hat. 1975 und 1978 leitete Musy beim Eurovision Song Contest das Orchester.
Insgesamt hat Jean Musy für mehr als 200 Filme die Musik komponiert.[5] Jean Musy hat u. a. eine Oper sowie ein Oratorium komponiert. Er verwendete u. a. Texte von Stefan Zweig für seine Musik. Diese Adaptionen bleiben postum.
Jean Musy war mit der Sängerin Claire d’Asta (* 1953) verheiratet. Er ist der Vater der Musikerin, Übersetzerin und Malerin Cécile Musy, des Musikers, Tontechnikers und Kameramanns Pierre Musy und des Filmkomponisten Clément Musy.