von Gneisenau var son till en sachsisk artillerilöjtnant August Wilhelm Neidhardt, av österrikisk härkomst. Tillnamnet von Gneisenau tillfogades först efter universitetsstudierna och anknyter till en tidigare egendom i Österrike. Han gick 1779 i österrikisk militärtjänst, 1782 i ansbach-bayreuthsk, och medföljde de trupper, som på grund av fördraget med England samma år översändes till Amerika. Efter freden i Paris 1783 lämnade han krigstjänsten, men inträdde 1786 i preussisk tjänst. Under fredsåren sysselsatte han sig med trägna militära och politiska studier samt med lanthushållning. Under kriget med Frankrike 1806–1807 utmärkte han sig som major i slagen vid Saalfeld och Jena och sedan genom ledningen av försvaret av Kolberg. Såsom biträde åt Scharnhorst och andra framstående män medverkade han kraftigt vid arbetet med den preussiska arméns nyskapande. 1809 gavs honom av hänsyn till Napoleon avsked ur militärtjänsten, varefter Gneisenau 1812 reste genom Ryssland, Sverige och England, men återinträdde 1813 i krigstjänst och blev generalstabschef hos fältmarskalken Blücher. I denna befattning skapade han sin ryktbarhet.
Sällan har två så olika naturer som Blücher och Gneisenau bildat ett så fulländat helt. Gneisenau var tankens och planernas man, som hämtade sina planer ur sina djupa insikter och sitt klara förstånd; Blücher var handlingens man, som bragte Gneisenaus planer till verklighet och som med fullt förtroende stödde sig på sin stabschef. Frukten därav blev schlesiska arméns segerrika fälttåg 1813–1814 (efter slaget vid Leipzig utnämndes Gneisenau till generallöjtnant och greve), återtåget mot Wavre och intagandet av en ny operationslinje efter nederlaget vid Ligny 1815 samt ingripandet i slaget vid Waterloo och den lysande segern där två dagar senare. Efter kriget blev Gneisenau med generals grad chef för VIII:e armékåren, men tog 1816 avsked. Han återinträdde 1818 i tjänst som guvernör i Berlin och blev 1825 fältmarskalk. 1831 fick han befälet över den armé, som sammandrogs i Posen för att biträda ryssarna vid undertryckandet av upproret i Polen, men dog av kolera i Posen 24 augusti samma år.
Gneisenau, som ägde en mångsidig bildning och starka litterära intressen, stod i intim förbindelse och brevväxling med flera av de svenska nyromantikerna, särskilt Atterbom, som under en utrikesresa 1819 var Gneisenaus gäst, varvid denne önskade få Atterbom anställd vid ett tyskt universitet.
Gneisenaus bronsstaty restes 1855 på Opernplatz i Berlin, och minnesvårdar har tillägnats honom i Kolberg och Schildau (1904). Gatan Gneisenaustrasse i Kreuzberg uppkallades efter hans död efter honom, liksom det tyska örlogsfartyget Gneisenau.