Philip Herbert was een zoon van Henry Herbert, 2e graaf van Pembroke en diens echtgenote Mary Sidney, een zus van de dichter Sir Philip Sidney, naar wie hij werd genoemd.
Al op 9-jarige leeftijd werd hij naar het New College van de Universiteit van Oxford gestuurd, maar hij verliet die na enkele maanden. In 1600 maakte hij zijn eerste opwachting aan het hof van Jacobus I, waar hij al spoedig de aandacht van de koning trok, die hem in de daaropvolgende jaren diverse gunsten verleende, zoals hij wel vaker mannelijke hovelingen begunstigde. Zo werd hij in mei 1603 benoemd tot 'gentleman of the privy chamber', een positie in de onmiddellijke nabijheid van de koning en in juli van datzelfde jaar bevorderde die hem tot ridder in de Orde van het Bad.
In 1604 trouwde Philip met Susan de Vere, een dochter van Edward de Vere, de 17e graaf van Oxford. De koning voorzag het paar van vele geschenken. In 1605 werd Herbert benoemd tot 'Gentleman of the Bedchamber', een positie als persoonlijk assistent en gezelschapsheer. Hierna werd hij benoemd tot Baron Herbert van Shurland en tot graaf van Montgomery. Verder betaalde de koning een aantal door Philip opgelopen fikse speelschulden. In 1608 werd hij ridder in de prestigieuze Orde van de Kousenband. Ook tijdens de rest van Jacobus' periode werd Herbert op verschillende manieren begunstigd en verwierf hij diverse andere functies.
Toen Karel I in 1625 de troon besteeg, bleef Herbert in de gunst. Hij begeleidde Karels aanstaande vrouw Henriëtta Maria op haar tocht van Parijs naar Engeland en speelde een rol tijdens de kroningsceremonie.
Philips vrouw overleed in 1629. In 1630 trouwde hij met Anne Clifford, de dochter van George Clifford, 3e graaf van Cumberland. Toen zijn broer William in 1630 overleed, erfde hij de titel van graaf van Pembroke en diens overige titels en functies.
Evenals zijn broer was de graaf geïnteresseerd in de kunsten en fungeerde als mecenas voor diverse kunstenaars, onder wie de schilder Antoon van Dyck en verschillende schrijvers, onder wie Philip Massinger en zijn familielid George Herbert. Meer dan 40 werken werden dan ook door hen aan hem opgedragen, waaronder Shakespeares First Folio.
In de periode 1639 - 1642 bekoelde de relatie tussen de graaf en Karel I, als gevolg van verschillen van inzicht over de godsdienstkwestie. Pembroke neigde naar het puritanisme, wat hem in conflict bracht met de katholieke koningin Henrietta Maria. Na diverse politieke incidenten bracht zij de koning ertoe Philip te ontheffen van zijn positie als Lord Chamberlain. Na een gewelddadige confrontatie met Henry Howard, de graaf van Arundel, in het House of Lords eiste de koning het ontslag van Pembroke en verving hem door Robert Devereux, 3e graaf van Essex, waarna de verwijdering tussen de twee een feit was.
Pembroke werd ziek in mei 1649 en stierf op 23 januari 1650 in Westminster. Zijn lichaam werd met nationale eer overgebracht naar Salisbury waar hij in de Kathedraal van Salisbury werd begraven.
