Fischer war Schüler von Johann Wolfgang von der Auwera in Würzburg. Während seiner Wanderschaft lernte er auch die Stuckiertechnik. Er heiratete 1746 die Tochter des 1736 verstorbenen Bildhauers Stephan Luidl (1684–1736) und übernahm 1746 in Dillingen dessen Werkstatt. Er wurde bald zum führenden Bildhauer der Region. Sein künstlerischer Durchbruch war laut Benno Gantner die Ausstattung der Studienkirche der damaligen Jesuiten-Universität Dillingen an der Donau. Er schuf Heiligenfiguren, Altäre, Kanzeln und ganze Innenausstattungen in 53 schwäbischen Kirchen; weltliche Werke sind von ihm nicht bekannt. Die Jesuiten vermittelten ihm auch Aufträge außerhalb von Schwaben.
Der Übergang vom Barock zum Klassizismus macht sich in Fischers Figuren bemerkbar. In Oberelchingen haben die Darstellungen von Petrus und Paulus noch den starken Faltenwurf, während die Gewänder von Benedikt und Scholastika „beruhigt“ sind; in Eggelstetten (1789) sind bei der Kirchenpatronin Margarethe alle ausladenden Drapierungen verschwunden.
Seine Grabinschrift überliefert, dass er Mitglied des Stadtrates und der Bürgerwehr in Dillingen an der Donau war.