Joseph wurde als erster Sohn des Johann I. von Schwarzenberg und der Maria Eleonora Gräfin von Öttingen-Wallerstein geboren und trat 1789 das Erbe seines Vaters an, unter anderem baute er den schwarzenbergischen Holzschwemmkanal in Südböhmen weiter aus. Er betätigte sich im Bankwesen und engagierte sich vielfältig um die Versorgung der Armen, Invaliden, Witwen und Waisen.
Im Jahre 1798 kaufte er die Güter Stubenbach und Gutwasser mit den angeschlossenen künischen Freigerichten Stachau, Altstadln und Neustadln. Er vereinte diese mit dem zwei Jahre später erworbenen Gut Langendorf zur Allodialherrschaft Stubenbach und Langendorf. 1801 oder 1803 erwarb er das Schloss Willmendingen im Klettgau, 1810 den Besitz Libějovice.
1802 trat er seinem jüngeren Bruder Karl Philipp, dem späteren Feldmarschall, das Zweite Majorat des Fürstenhauses und einen Teil des Besitzes als Sekundogenitur ab, der es auf die Herrschaft Worlik übertragen ließ. Der tschechische Politiker Karel Schwarzenberg (1937–2023) aus dieser Linie war seit 1979 internes Oberhaupt der Familie Schwarzenberg und vereinigte in seiner Person die beiden Linien (Primogenitur und Sekundogenitur) der Familie.
Aloysia Eleonore (1803–1884) ⚭ 1823 Heinrich Eduard Fürst von Schönburg-Waldenburg-Hartenstein (ihr verwitweter Schwager, s. v.)
Mathilde Therese (1804–1886)
Maria Karolina (1806–1875) ⚭ 1831 Ferdinand, 2. Fürst von Bretzenheim (1801–1855)
Anna Bertha (1807–1883) ⚭ Fürst August Longin Lobkowitz (1797–1842)
Friedrich Johann (1809–1885), 1835 Erzbischof von Salzburg, Kardinal und Fürsterzbischof von Prag
Seine Gemahlin, Fürstin Pauline, starb 1810 bei einem Brand während eines Balls in der österreichischen Botschaft in Paris, dem Hôtel de Montesson[1] in der Rue de Montblanc, den der österreichische Botschafter, Fürst Josephs jüngerer Bruder Prinz Karl Schwarzenberg, kurz nach der Heirat Napoleons I. mit Marie-Louise von Österreich zu deren Ehren und in deren Anwesenheit gegeben hatte. Der in den Garten hinein errichtete provisorische Tanzsaal aus Holzwänden, überzogen mit Wachsleinwand, fing Feuer und löste eine Massenflucht aus, unter der die hölzernen Treppenstufen einbrachen, Menschen niedergetreten wurden und hinabstürzten. Der Brand, dessen Löschung Kaiser Napoleon selbst leitete, kostete zwanzig Personen das Leben, darunter auch der Fürstin Sophia Theresia von der Leyen, Gemahlin des Fürsten Philipp von der Leyen.[2] Der Brand veranlasste den Kaiser zu einer vollständigen Neuorganisation der Feuerwehr Corps des gardes-pompes, der heutigen Brigade des Sapeurs-Pompiers de Paris.
Fürst Joseph von Schwarzenberg, Herzog von Krummau. In: Neuer Nekrolog der Deutschen. Band 11 (1833), 2. Teil. Weimar 1835, S. 820 f.; Textarchiv – Internet Archive.