Han var sønn av en odelsbonde og tok sin doktorgrad innen juss i 1863. Han studerte fortsatt da han var vitne til triumfen til det republikanske partiet i Paris ved valget dette året, under det andre franske keiserdømmet. Han slo seg ned i Montélimar, der han i 1869 giftet seg med Marie-Louise Picard. Han arvet også en liten eiendom i Grignan-området.
I 1880 ble han president av etatsrådet i Drôme. Hans støtte til Jules Ferry og hans regjering og for hans iver for den koloniale utvidelse av Frankrike ga ham betydelig vekt innen det moderate republikanske partiet. Han ble valgt inn i Senatet i 1885, og han ble utnevnt til minister for de offentlige arbeider i Tirard-regjeringen. I dette embetet satt han fra desember 1887 til mars 1888.
Hans rykte som en stor taler med stor styrke og klarhet og som en trygg og ærlig statsmann skaffet ham i 1896 formannskapet i Senatet, og i februar 1899 ble han utnevnt til president av republikken som Félix Faures etterfølger. Han ble valgt inn med 483 stemmer mot 279 som ble registrert på Jules Méline, hans eneste seriøse konkurrent til president-embetet. I 1899 benådet Loubet Alfred Dreyfus. Han satt også som statsminister i 1892.
Han har også utvekslet besøk med flere europeiske statsledere og kongelige personer, blant disse var Edward VII, kongen av Portugal, kongen av Italia og kongen av Spania. Under spanskekongens besøk i 1905 ble det gjort et forsøk på ta livet hans, da en bombe ble kastet under hans vogn mens han kjørte fra Opéra Garnier til Palais d'Orsay.
I Loubets embedstid kom den såkalte Entente Cordiale og en allmenn tilnærming til Storbritannia i stand. Han forserte skillet mellom kirke og stat.
Da hans presidentskap tok slutt i januar 1906 ble han den første presidenten i den tredje franske republikken som hadde vært innsatt en full termin og uten å ha blitt avbrutt av midlertidige presidenter. Han trakk seg tilbake fra det offentlige liv og han døde nesten 24 år senere. Som etterfølger fikk han den likeså sentrum-venstre-innstilte Armand Fallières.
