När partiledaren Robert Stanfield 1976 avgick, var Clark inte bland favoriterna i partiledarvalet. Partiets vänsterflygel, de så kallade Red Tories, hade Flora MacDonald snarare än Clark som deras förhandsfavorit. När MacDonald fick ett dåligt resultat i den första omröstningen och Clark blev överraskande trea bland elva kandidater, gav hon Clark sitt stöd inför den andra omröstningen. Clark vann valet i femte omröstningen.
Progressiva konservativa partiet vann knappt i 1979 års val och Clark blev premiärminister blott 39 år gammal. Clarks minoritetsregering föll efter misstroendeförklaring i december 1979 och han fick avgå efter valnederlaget följande år. Clark ville fortsätta som partiledare också efter 1983 års partimöte men han fick se sig besegrad av utmanaren Brian Mulroney. Clark tjänstgjorde som utrikesminister i Mulroneys kabinett 1984-1991.
Clark lämnade politiken 1993 men återvände fem år senare när Jean Charest avgick som partiledare och partiet saknade en stark partiledarkandidat. Från att ha varit ett av de två stora partierna hade partiet blivit ett litet parti i Kanada. Clark misslyckades att få partiet tillbaka bland de två stora men när han lämnade partiledarämbetet, hade partiet lyckats gå om New Democratic Party of Canada som det fjärde största partiet. Peter MacKay efterträdde Clark som partiledare i maj 2003.
När Progressiva konservativa partiet upphörde att existera i december 2003 och gick med i det nya högerpartiet Kanadas konservativa parti, var Clark en av tre progressiva konservativa ledamöter i underhuset som vägrade att gå med i det nya partiet. Han ställde inte längre upp till omval i 2004 års val. Efter tiden i politiken undervisade han vid American University i Washington, D.C. och skrev kolumner i flera kanadensiska tidningar. Han fick 2006 en professur vid McGill University i Montréal.