Hij was een zoon van keizer Frederik I Barbarossa en van Beatrix I van Bourgondië. In 1208 werd hij te Bamberg vermoord door Otto van Wittelsbach, paltsgraaf in Beieren, nadat Filips hem de hand van zijn dochter had geweigerd.
In 1198 waren er twee koningen verkozen tot Rooms keizer: Filips en Otto de Welf. Deze laatste kreeg de steun van de paus, maar zou toch pas tot keizer gekroond worden na de moord op Filips in 1208. Filips was evenmin tot keizer gekroond. Toch noemde hij zichzelf Filips II van Zwaben, met verwijzing naar de Romeinse keizer Filips uit de 3e eeuw.