Na zijn studies ging hij werken in de tabaksfabriek van zijn ouders, die in 1751 opgericht werd door zijn voorvader Petter Swartz. Van 1883 tot 1906 was hij ook de directeur van een spaarbank in Norrköping. Later was hij van 1912 tot 1917 voorzitter van toenmalige privébank Sveriges Centralbank. In 1917 was hij voor korte tijd kanselier van de Universiteit van Uppsala.
Als filantroop stelde hij in zijn geboortestad zijn villa vrij als museum en bibliotheek. Na zijn dood ging in de jaren 1930 zijn familiale tabaksfabriek failliet.
In mei 1906 werd hij minister van Financiën in de regering van Arvid Lindman en bleef dit tot in 1911. Tijdens zijn parlementaire loopbaan en zijn ministeriële loopbaan was hij verantwoordelijk voor meerdere hervormingen. Zo voerde hij een reeks inkomsten- en vermogensbelastingen in.
Nadat de rechtsgeoriënteerde groepen in de Rijksdag fuseerden, werd hij van 1912 tot 1914 ondervoorzitter en lid van het partijcomité van de nieuw opgerichte Nationale Partij. Tijdens de Eerste Wereldoorlog was hij van 1915 tot 1917 voorzitter van de Rijksdagcommissie voor Verzorging, waardoor hij een invloedrijke rol kon uitoefenen.
Nadat premier Hjalmar Hammarskjöld wegens zijn buitenlandse politiek moest aftreden, werd Swartz op 30 maart 1917 door koning Gustaaf V benoemd tot de nieuwe premier van Zweden. Als premier was Swartz' belangrijkste opdracht om de Zweedse burgerij te kalmeren, die schrik had dat de succesvolle Februarirevolutie in Rusland naar Zweden zou overslaan. Swartz verbood de burgerij om burgerlijke gardes op te richten die op de demonstraties van 1 mei van de Sociaaldemocratische Partij zouden kunnen verstoren. Als Swartz zulke acties niet gedaan zou hebben, zou dat wellicht tot opstanden of een binnenlandse crisis geleid hebben.
Omdat er in Zweden ook hongersnood heerste kwam het toch tot onrusten, die na het begin van de aardappelschaarste in de lente van 1917 toenamen. Swartz begon onderhandelingen met het Verenigd Koninkrijk, Frankrijk en Rusland om levensmiddelen te leveren, wat zijn voorganger Hammarskjöld tegengehouden had.
De Sociaaldemocratische Partij maakte gebruik van de door de hongersnood uitgelokte onrusten om algemeen stemrecht, vrouwenkiesrecht en de afschaffing van de regel dat een partij 40 procent van de stemmen moest halen om in de gemeenteraad te geraken te eisen. Over deze vraag waren er spanningen in de regering van Swartz. Ministers Oscar von Sydow en Conrad Carleson dreigden ontslag te nemen als Swartz niet op de eisen zou ingaan, terwijl minister Arvid Lindman ervoor ijverde om de eisen te negeren. Uiteindelijk besloot Swartz om de eisen in te gaan en om in 1918 vervroegde parlementsverkiezingen uit te schrijven. Hiermee was hij de eerste conservatieve premier die rekening hield met wat het volk wilde. Koning Gustaaf V was het eens met zijn houding en besloot om Swartz te behouden als premier.
Zijn zoon geraakte echter verwikkeld in een zwarte marktschandaal en hierdoor leidde Swartz gezichtsverlies. Dit dreef hem ertoe om op 19 oktober 1917 ontslag te nemen als premier ten voordele van de liberaal Nils Edén.
