Apprenti fondeur puis compagnon à Wurtzbourg, il apprend les mathématiques puis entre dans l'armée et devient ingénieur militaire. Il participe notamment au siège de Belgrade (1717) sous la conduite du Prince Eugène. En 1718, il voyage à Milan puis en 1723 à Paris. Sa rencontre avec la famille de Schönborn le convainc d'embrasser la carrière civile et c'est ainsi qu'il s'impose comme l'un des plus grands architectes du baroque. Neumann figurait sur les billets allemands de 50 DM.
La puissante famille des Schönborn qui régnait sur la principauté épiscopale de Wurtzbourg décida au début du XVIIIe siècle de bâtir un palais afin d'y transférer le siège de l'épiscopat, auparavant dans une ancienne forteresse. C'est Johann Philipp Franz de Schönborn qui posa la première pierre de l'édifice. Dans un premier temps, les maîtres d'œuvre étaient Maximilian von Welsch et Johann Dientzenhofer. Puis le prince évêque engagea le jeune Neumann pour seconder Dientzenhofer. Neumann fit alors ses preuves et s'imposa comme maître de l'œuvre qui allait l'occuper plus de trente ans. Cependant en 1746, le prince-évêque disparut et son successeur, peu empressé d'achever la résidence, démit Neumann de ses fonctions. Il fallut attendre 1749 et l'élection de Karl Philipp von Greiffenclau zu Vollrads comme prince-évêque pour que Neumann pût finir sa résidence. S'inspirant de ses contemporains (Hildebrandt, Dientzenhofer, Robert de Cotte), Neumann bâtit une œuvre emblématique du baroque germanique. Au cœur du palais se trouve un escalier monumental dont les fresques ont été peintes par Giambattista Tiepolo ainsi qu'une salle d'honneur, la Kaisersaal, un sommet de la peinture murale.
