Pastor nacque in Germania, ad Aquisgrana, e studiò presso il ginnasio di Francoforte, dove fu allievo di Johannes Janssen. Quest'ultimo gli fece conoscere la storia del papato (critica e scettica) di Leopold von Ranke, un evento che orientò gli interessi di Pastor, il quale sarebbe divenuto in un certo senso l'avversario di parte cattolica di Ranke. La sua tesi fu sempre che le pecche del Papato riflettevano semplicemente difetti comuni delle varie epoche.
Pastor studiò poi nel 1875 a Lovanio e quindi, negli anni accademici 1875/76 e 1877/78, a Bonn, rispettivamente, e a Vienna.
In occasione del suo primo viaggio in Italia, nel 1881, la sua precoce fama gli valse il sostegno di papa Leone XIII, il quale gli permise di accedere agli archivi della Biblioteca Vaticana.
Il capolavoro di Pastor è la Storia dei Papi in 40 volumi. L'opera è una vasta storia del papato dal 1305, con papa Clemente V e l'avvio del cosiddetto esilio avignonese dei papi per terminare con l'invasione francese del 1798 e la soppressione temporanea dello Stato della Chiesa.
Pastor, comunque, concentrò la propria attenzione sui singoli pontefici piuttosto che sugli sviluppi dell'istituzione papato, riuscendo ad unire il proprio ardente cattolicesimo con una vasta erudizione.
Altra opera di ampia erudizione è una Storia del popolo tedesco in 8 volumi (1893–1926).
