Anton Josef Gruscha var sønn av en håndverker. Etter å ha tatt sin matura, studerte han katolsk teologi ved Universität Wien.
Prest
Han ble presteviet 4. mai 1843 i en alder av 23 år. Han arbeidet så noen år i sjelesorgen. Ved siden av promoverte han til teologisk doktor i 1849. Fra 1848 var Gruscha også ordførende for en kristelig folkebevegelse i Wien. Han engasjerte seg heftig for en fri kirke og grunnla derfor fra 1852 sammen med Adolph Kolping flere katolske lærlinge- og mesterforeninger.
I 1851 ble Gruscha professor ved Theresianum, en stilling han hadde til 1856. I desember 1855 ble han utnevnt til dompredikant ved Stephansdom. Som sådan underviste han samtidig i pastoralteologi ved Universität Wien. I 1871 innvalgte domkapittelet ham til medlem.
Den 24. januar 1890 ble han kalt til erkebiskop av Wien, og dette ble stadfestet den 23. juni samme år av paven, etter at dette embede var blitt tilbudt ham allerede ved kardinal Kutschkers død. Han ble innført i embedet 6. juli 1890.
I sine senere leveår var han nesten blind og døv. Fra 1905 fikk han støtte fra sin generalvikar Godfried Marschall og fra 1910 av koadjutor-erkebiskop Franz Xaver Nagl.
I en alder av 90 år døde kardinal Anton Joseph Gruscha den 5. august 1911 på Schloss Kranichberg ved Kirchberg am Wechsel i Niederösterreich.
