Il commence sa carrière chez Atochem en 1980, devient directeur Économie, plan et stratégie en 1991, puis directeur de l'activité Intermédiaires organiques de synthèse en 1995.
En 2001, après la fusion des activités chimiques de Total, Petrofina et Elf, il est nommé membre du comité de direction Chimie et membre du comité directeur de Total.
D' à , Philippe Gœbel est directeur général de l'un des pôles d'activités d'Arkema.
En 2008, il est nommé président directeur général de Total Petrochemicals France.
Philippe Gœbel est d'autre part membre du conseil d'administration de l'Association des ingénieurs ESPCI (AIE), dont il a été président de 2002 à 2008.