Karl Borromäus Philipp zu Schwarzenberg (indicato anche talvolta col nome di Karl II o con i soli nomi di Karl Philipp) nacque a Vienna il 21 gennaio 1802. Egli era figlio del famoso Feldmaresciallo Karl Philipp Schwarzenberg, una delle figure di militari austriaci più importanti della prima metà dell'Ottocento e sicuramente una delle figure di punta della lotta dell'Impero contro Napoleone Bonaparte. Sua madre era invece Maria Anna von Hohenfeld, già vedova del Principe ungherese Antonio I Esterházy.
Intrapresa la carriera militare divenne nel 1831 Maggiore e nel 1833 Tenente Colonnello del 42º Reggimento di Fanteria "Duca di Wellington". Il 17 aprile 1834 divenne Colonnello e Comandante del 4º Reggimento di Fanteria. Il 7 febbraio 1848 venne nominato Feldmaresciallo e comandante di Divisione. Contemporaneamente, si dedicò agli ambienti diplomatici della corte viennese venendo quindi nominato Governatore della Lombardia austriaca dopo la parentesi insurrezionalista, ricoprendo la carica però per un breve periodo, dal 1849 al 1850. In questo periodo, collaborò attivamente con il Feldmaresciallo Radetzky e con suo fratello, Edmund di Schwarzenberg, alla soppressione dei tentativi di ribellione dell'area lombarda.