Baumstark blev 1857 amtsdomare och var 1864–1878 kretsdomstolsråd i Konstanz. År 1869 övergick han till Romersk-katolska kyrkan och blev snart en av Centrumpartiets mera framträdande kämpar i den badensiska riksdagen, men intog en förmedlande ställning i kulturkampen (Kulturkampf). År 1880 blev han amtsdomare i Achern. Han författade ett mångtal kyrkopolitiska skrifter samt flera, litteraturhistoriska arbeten, bland annat Die spanische Nationallitteratur im Zeitalter der habsburgischen Könige (1877) och Thomas Morus (1879).
