Königsbergben (ma Kalinyingrád, Oroszország) született polgári családban, Franz Ernst Neumann és Luise Florentine Hagen gyermekeként. Születésekor apja, az Európa-szerte híres természettudós már hat éve tanított a város egyetemén, mint a fizika és az ásványtan professzora. Az ifjú Carl Gottfried alap- és középiskoláit szülővárosában végezte el. Ezt követően beiratkozott a Königsbergi Egyetemre, ahol tevékenyen részt vett az apja és Carl Gustav Jacob Jacobi által vezetett matematika-fizika szeminárium munkájában. Az egyetemi évek alatt életre szóló barátságot kötött tanáraival, későbbi kollégáival, Friedrich Julius Richelot-val és Ludwig Otto Hessével. Doktorátusát matematikából 1855-ben szerezte meg.
1858-ban felkérést kapott a hallei egyetem matematikai magántanári állásának betöltésére. 1863-ban tanársegédi címet kapott, de még ugyanabban az évben a bázeli, két újabb év elteltével, 1865-ben pedig a tübingeni egyetem matematikai tanszékén vállalt állást. 1868 őszétől meghívták a Lipcsei Egyetemre, ahol 1911. évi visszavonulásáig dolgozott mint matematikaprofesszor. A berlini székhelyű Porosz Tudományos Akadémia tagja volt.
A mindvégig visszavonult életet élő Neumann 1864-ben vette nőül Hermine Mathilde Elise Klosst. 1875-ben felesége meghalt, de a fiatalon megözvegyült, gyermektelen matematikaprofesszor nem házasodott újra.
Neumann pedagógusként is nagy hírnevet vívott ki magának, évtizedeken keresztül adta át tudását a jövő nemzedékek matematikatanárainak. Lipcsére kerülése évében, 1868-ban alapította meg a Mathematische Annalen című szakfolyóiratot, amelynek később egyik szerkesztője volt.
Főbb művei
Das Dirischlet’sche Princip in seiner Anwendung auf die Reimann’schen Flächen, Leipzig, Teubner, 1865.
Theorie der Bessel’schen Functionen. Ein Analogon zur Theorie der Kugelfunctionen, Leipzig, Teubner, 1867.
Vorlesungen über die mechanische Theorie der Wärme, Leipzig, Teubner, 1875.
Ueber die nach Kreis-, Kugel- und Cylinder-Functionen, fortschreitenden Entwicklungen, Leipzig, Teubner, 1881.
Vorlesungen über Riemann’s Theorie der Abel’schen Integrale, Leipzig, Teubner, 1884.
Beiträge zu einzelnen Theilen der mathematischen Physik, insbesondere zur Elektrodynamik und Hydrodynamik, Elektrostatik und magnetischen Induction, Leipzig, Teubner, 1893.
