Jolivet syntyi Pariisissa. Hänen vanhempansa olivat taidemaalari ja pianisti. Vanhemmat toivoivat, että heidän pojastaan olisi tullut opettaja. Jolivet päätti kuitenkin ryhtyä muusikoksi. Hän opiskeli musiikkia Paul Le Flemin johdolla.
Jolivet sävelsi muun muassa useita konserttoja eri soittimille, esimerkiksi yhden melko harvinaiselle ondes Martenot -sähkösoittimelle. Hänen muun tuotantonsa joukkoon lukeutuu esimerkiksi kolme sinfoniaa, näyttämömusiikkia ja runsaasti kamarimusiikkia.