Appassionato di gioco d'azzardo, Philip si coprì di debiti. Nel 1608 il re, dopo aver risollevato la situazione economica del suo favorito, lo nominò cavaliere dell'Ordine della Giarrettiera. Le fonti ci parlano di Philip come di una persona litigiosa e dotata di un pessimo carattere: fu infatti protagonista di numerosi litigi, come quello con il conte di Southampton, tutti risolti dall'intervento del sovrano.
Alla morte di Giacomo I nel 1625 continuò ad esercitare la sua influenza anche alla corte del suo successore, Carlo I. Assieme al fratello ebbe interessi nella colonizzazione del Nuovo Mondo e fu protettore di artisti; In una dedica i due vengono definiti come "la più nobile e incomparabile coppia di fratelli".[1] A dimostrazione del favore che gli accordò il nuovo re, Philip fu scelto come uno dei gentiluomini che scortarono la nuova regina Enrichetta Maria a Londra da Parigi e nel 1626 venne nominato Lord Ciambellano, la più alta carica politica del regno. Assunse il titolo di terzo conte di Pembroke alla morte del fratello nel 1630.
Amante di arte e cultura, possedeva una grande collezione d'arte con lavori di Raffaello, Hans Holbein, van Dyck. Si dedicò alla ristrutturazione dei palazzi reali e della sua residenza, Wilton House chiamando un architetto della fama di Inigo Jones.
Nel 1641 tradì il re passando dalla parte del Parlamento durante la guerra civile inglese.
Lord James Herbert (1623-1677), sposò in prime nozze Jane Spiller ed ebbero una figlia, sposò in seconde nozze Lady Catherine Osborne ed ebbero una figlia.