Si vous disposez d'ouvrages ou d'articles de référence ou si vous connaissez des sites web de qualité traitant du thème abordé ici, merci de compléter l'article en donnant les références utiles à sa vérifiabilité et en les liant à la section « Notes et références ».
Il est réélu député aux élections générales de 1979 et de 1980. Après l'élection de 1980, Olivier est à la tête du caucus québécois du Parti libéral du Canada. En , Trudeau le nomme ministre d'État à la condition physique et au sport amateur. John Turner, devenu le nouveau chef du Parti libéral du Canada en 1984, le fait sortir du cabinet. La même année, Olivier est défait dans sa circonscription lors de l'élection générale.
Après sa défaite, Olivier devient concessionnaire pour Ford à Saint-Hubert et, bientôt, il rejoint la Corporation des concessionnaires automobiles du Grand Montréal et du Québec.
En 1987, il se présente à la mairie de Longueuil, en banlieue de Montréal, mais est défait. En 2001, il est élu maire de la nouvelle ville fusionnée de Longueuil, et devient le vice-président du comité exécutif de la Communauté métropolitaine de Montréal. Olivier dirige son propre parti municipal, l'Équipe Olivier, qui détient une importante majorité au conseil municipal de Longueuil.