En 1977, il est battu de peu par Frank Cluskey à la direction du parti. O'Leary est élu au Parlement européen dans la circonscription de Dublin en 1979.
Cluskey démissionne de son poste de chef du Parti travailliste lorsqu'il perd son siège au Dáil aux élections générales de 1981 et O'Leary est élu à l'unanimité pour lui succéder. Dans l'éphémère gouvernement Fine Gael-Parti travailliste de 1981 à 1982, O'Leary est Tánaiste et ministre de l'Énergie. Après la défaite du gouvernement aux élections générales de février 1982, il reste leader jusqu'à ce qu'il démissionne soudainement de la direction et de son appartenance au parti le 28 octobre, à la suite d'un vote à la conférence du parti sur une éventuelle coalition avec le Fine Gael[4]. Le 3 novembre, il rejoint le Fine Gael[5],[6]. Aux élections générales de novembre 1982, il est élu député pour le Fine Gael dans la circonscription du sud-ouest de Dublin. Après les élections, un nouveau gouvernement Fine Gael-travailliste est formé, mais O'Leary est tenu à l'écart du cabinet par ses anciens collègues travaillistes.
En 1985, O'Leary présente un projet de loi d'initiative parlementaire sur le divorce qui précède le référendum gouvernemental sur le divorce en 1986. Lorsque les Démocrates Progressistes sont formés en 1985, il envisage de les rejoindre, mais reste au Fine Gael.
Il ne se présente pas aux élections générales de 1987 et retourne à Cork et exerce la profession d'avocat. Il est élu membre Fine Gael du conseil municipal de Cork lors des élections locales de 1991. Il se présente sans succès aux élections générales de 1992 dans le centre-nord de Cork et obtient environ 2 % des voix[7].
Il est nommé juge du tribunal de district en 1997 par le gouvernement de coalition Fine Gael-Parti travailliste- Gauche démocratique.
O'Leary est décédé en France en mai 2006, des suites d'une noyade dans une piscine[7]. Il était en vacances, après avoir pris sa retraite de juge quelques jours plus tôt.