W 1986 w gabinecie Jacques’a Chiraca został ministrem delegowanym do spraw budżetu, a także rzecznikiem rządu. Obie te funkcje pełnił do 1988. W 1993 objął urząd ministra spraw zagranicznych w rządzie Édouarda Balladura.
W 1994 powołano go na przewodniczącego Zgromadzenia na rzecz Republiki. W maju 1995, po wygranych przez Jacques’a Chiraca wyborach prezydenckich, zastąpił Édouarda Balladura na urzędzie premiera. W tym samym roku został także merem Bordeaux. Kierował dwoma kolejnymi gabinetami (tworzonymi przez RPR i UDF) do czerwca 1997, ze stanowiska premiera ustąpił po przegranych przez prawicę wyborach parlamentarnych. Zrezygnował wówczas też z kierowania RPR. W 2002 został przewodniczącym nowo powołanej Unii na rzecz Ruchu Ludowego.
Na początku 2004 za nadużycia w publicznych funduszach z okresu kierowania gaullistami został w pierwszej instancji skazany na karę 18 miesięcy pozbawienia wolności z warunkowym zawieszeniem jej wykonania. Orzeczono także pozbawienie prawa do piastowania urzędów publicznych przez 10 lat. Były premier złożył apelację od tego wyroku[2], zrezygnował jednak z przewodniczenia UMP, urzędu burmistrza i mandatu poselskiego. Pod koniec 2004 sąd odwoławczy zmniejszył karę pozbawienia wolności do 14 miesięcy, a także obniżył okres utraty biernego prawa wyborczego do roku[3].
Przez rok pracował jako wykładowca w École nationale d’administration publique w Montrealu. W 2006 powrócił do krajowej polityki, kiedy to wygrał wybory na urząd burmistrza Bordeaux. 18 maja 2007 został ministrem stanu ds. środowiska, zrównoważonego rozwoju, energii i transportu w pierwszym gabinecie François Fillona. W czerwcu tego samego roku w drugiej turze wyborów do Zgromadzenia Narodowego minimalnie przegrał z kandydatem Partii Socjalistycznej. W związku z powyższym 18 czerwca podał się do dymisji[4], zgodnie z ustaloną wcześniej przez premiera zasadą, wedle której ci z ministrów, którzy będą kandydowali do parlamentu i nie zostaną wybrani, złożą rezygnację.
W 2008 skutecznie ubiegał się o urząd mera Bordeaux na kolejną kadencję, wygrywając w pierwszej turze z wynikiem ponad 56% głosów[5]. Reelekcję uzyskał również w 2014.
14 listopada 2010 powrócił w skład rządu, obejmując stanowisko ministra stanu, ministra obrony i spraw kombatantów w trzecim gabinecie François Fillona[6], 27 lutego 2011 został w tym samym gabinecie ministrem spraw zagranicznych i europejskich, urząd ten sprawował do 15 maja 2012.
W 2016 Alain Juppé wziął udział w prawyborach przed wyborami prezydenckimi w 2017, które zorganizowała centroprawica skupiona wokół partii Republikanie (będącej następczynią UMP). W pierwszej turze zajął drugie miejsce z wynikiem 29% głosów[7]. W drugiej turze z wynikiem 33% głosów przegrał ze swoim kontrkandydatem François Fillonem[8].
W styczniu 2019, negując linię przyjętą przez przewodniczącego Republikanów Laurenta Wauquieza, ogłosił ostatecznie swoje wystąpienie z tej partii[9]. W marcu 2019 zakończył pełnienie funkcji mera, w tym samym miesiącu zasiadł w Radzie Konstytucyjnej na dziewięcioletnią kadencję[10].