Ami d'enfance de Jean-Louis Aubert et de Louis Bertignac, il accompagne la naissance de Téléphone en 1976. Tout commence en août 1976 : après avoir entendu à la radio une émission sur la naissance du phénomène punk, Jean-Louis Aubert et Olivier Caudron forment un groupe sur une suggestion de leur ami le manager François Ravard rencontré lors d'études de musicologie à Vincennes, avec Richard Kolinka (inséparable de Jean-Louis Aubert depuis quelques mois) à la batterie et Lionel Lumbrozo à la basse. Mais le projet ne marche pas après deux répétitions chez Louis Bertignac à Saint-Cloud car Jean-Louis, Olive, et Lionel veulent tous trois être leader. Mais avant la séparation, Kolinka a décroché un engagement pour un concert au Centre Américain de Paris pour le . Aubert décide d'accompagner Kolinka tandis qu'Olive fait la première partie. Pour la seconde partie, Jean-Louis Aubert et Richard Kolinka sont finalement accompagnés par Louis Bertignac et sa petite amie Corine Marienneau, donnant naissance au groupe Téléphone.
En 1977, Olive est guitariste dans le groupe Diesel. Il fonde en 1979 son propre groupe, Lili Drop, avec lequel il sort deux albums : Monde animal et N. Sur cette période, il se fait appeler Lili Olimao.
En 1986, un an après avoir appris sa séropositivité, il se lance dans une carrière solo. Son unique album, Ouf !, sort en 1990. Il est déçu par le choix du titre Retour à l'envoyeur comme single phare. Les ventes ne sont d'ailleurs pas bonnes. À cette époque, Olive cesse l'héroïne et passe à la méthadone. Il se marie, s'installe dans le Sud-Ouest de la France et a un enfant.
Un album commun Olive-Aubert est un temps envisagé. Le projet ne voit pas le jour. Néanmoins, en 1997, il coécrit et chante en duo le morceau Nouvelles frontières puis, sur Stockholm d'Aubert, il exécute le solo de guitare acoustique sur La P'tite Semaine.
Après plusieurs années d'absence, Olive revient en juin 2005 sur la scène parisienne, sous le pseudonyme de Lovliv, avec France Cartigny à la batterie, Vyriane Say à la basse et Christian Brun à la guitare[1].
Il meurt quelques mois plus tard à Paris des suites d'une tuberculose, à l'âge de cinquante ans. Ses cendres reposent au columbarium du cimetière du Père-Lachaise. Aux obsèques, son ami Jean-Louis Aubert croise Corine Marienneau pour la dernière fois avant de rompre définitivement le contact[2]. Ainsi les chances de voir Téléphone se reformer au complet sont enterrées avec Olive[3]. Quatre ans plus tard, Jean-Louis Aubert lui rend hommage dans son album Roc éclair.
En , paraît Le Soleil Noir du rock français : Olivier Caudron, de Lili Drop à Olive, de Jean-François Jacq, aux éditions L’Harmattan-L'Écarlate. Il s'agit de la première biographie consacrée au groupe Lili Drop et au parcours de son chanteur, Olive.
