Han vokste opp i Miðvágur som sønn av kjøpmann Joen Elias Ellefsen fra Miðvágur og hustru Sofía Højgaard fra Rituvík. Han var bror av skipsreder Svend Aage Ellefsen, svoger av historiker Jóannes Dalsgaard og grandnevø av Sámal Ellefsen, som alle har vært politikere. Pauli Ellefsen var gift med Henni Egholm Rasmussen og bosatt i Hoyvík ved Tórshavn.[2]
I sine tidlige år var han til sjøs som fisker 1954–1956 og skipsmekaniker 1957–1960. Han ble etter hvert bosatt i København, hvor han fra 1960 arbeidet som revisor i revisjonsfirmaet C. Jespersen, samtidig som han studerte til diplomutdannelse (HD) i revisjon ved Handelshøjskolen i København.[2][3] I 1969 ble han også statsautorisert revisor. Først i 1970-årene flyttet han tilbake til Færøyene, hvor han en periode drev revisjonsfirmaet Sundstein & Ellefsen sammen med Jógvan Sundstein, som senere ble statsminister for Fólkaflokkurin. Ellefsen var senere revisor i KPMG, SPEKT og et eget foretak.[3]
Politisk arbeid
Ellefsen var et politisk ubeskrevet blad da han ble innvalgt på Lagtinget i 1974, men hadde vakt oppsikt i valgkampen med sine korte debattinnlegg med enkle og tydelige budskap. For Sambandsflokkurin som helhet var resultatet imidlertid svært nedslående, og partiet gikk fra nest til fjerde størst på Lagtinget. Partiformannen Trygve Samuelsen tapte gjenvalg til Lagtinget, og kort tid etter valget ble Ellefsen valgt til hans etterfølger. Han ble sittende som partiformann frem til 1991.[3]
Ellefsen var også innvalgt på Folketinget fra Færøyene 1977–1987 og 1988–1990, medlem av Færøyenes delegasjon til Nordisk råd 1975–1976 og i 1979, foruten formann i Færøyenes valuta- og prisråd 1973–1976.[2] Ved lagtingsvalget i 1978 gjorde Sambandsflokkurin et brakvalg, gikk frem 7,2 prosentpoeng, og økte antallet mandater på Lagtinget fra fem til åtte.
Ved lagtingsvalget i 1980 sprakk samarbeidet mellom partiene fra Atli Dams tredje regjering, og Pauli Ellefsen ble den 5. januar 1981 statsminister i en borgerlig regjering bestående av Sambandsflokkurin, Fólkaflokkurin og Sjálvstýrisflokkurin. Dette var den første rene, borgerlige regjeringen på Færøyene siden 1959. Ellefsens partikollega Eilif Samuelsen ble skole-, sosial- og energiminister, mens Johannes Martin Olsen møtte for Ellefsen i Folketinget. Ved lagtingsvalget i 1984 tapte regjeringspartiene i alt to mandater, og tapte flertallet til samarbeidspartnerne i Atli Dams fjerde regjering. Ellefsens regjering gikk av den 10. januar 1985, og i 1990 søkte han heller ikke gjenvalg til Lagtinget.[3] De siste årene som parlamentariker tiltragte han som Lagtingets ubestridte opposisjonsleder.[3]