Gramatté werd geboren als zoon van een Berlijnse bakker. Bij het uitbreken van de Eerste Wereldoorlog trad hij in militaire dienst, maar vanwege zijn zwakke gezondheid werd hij regelmatig langere periodes vrijgesteld. Tussendoor studeerde hij aan de Kunstgewerbeschule Berlin. In 1917 opende hij zijn eigen atelier, dat tot een trefpunt van jonge kunstenaars uit zou groeien. Hij huwde in 1920 met de Russische pianiste Sonia Fridman en sloot vriendschap met Erich Heckel en Karl Schmidt-Rottluff, medeoprichters van de expressionistische kunstenaarsgroepering Die Brücke, die zijn stijl definitief zouden beïnvloeden. Ook was hij nauw bevriend met schrijver Hermann Kasack, die in 1947 het personage Catell uit zijn existentialistische roman Die Stadt hinter dem Strom naar Gramatté modelleerde.
Ondanks zijn zwakke gezondheid reisde Gramatté samen met zijn vrouw in 1921 naar Italië, in 1922 naar Parijs en tussen 1924 en 1927 diverse keren naar Spanje. Tussendoor keerde hij steeds terug naar Hamburg, waar hij in 1924 een poos in een ziekenhuis werd opgenomen. Ook verbleef hij soms in Hiddensee, om te kuren. In 1928 verslechterde zijn gezondheidstoestand zich opnieuw en volgde wederom een ziekenhuisopname. Begin 1929 overleed hij aan darmtuberculose, 32 jaar oud. Zijn grafsteen werd ontworpen door Schmidt-Rottluff. In de jaren dertig werd zijn werk door de nazi's bestempeld als entartete Kunst.
Gramatté's vrouw Sonia hertrouwde in 1934 met de journalist en kunsthistoricus Ferdinand Eckhardt en noemde zich voortaan Sophie-Carmen Eckhardt-Gramatté. Ze emigreerden naar de Verenigde Staten en richtten daar de 'The Eckhardt-Gramatté-Foundation' op.
Werk
Gramatté schilderde in olie maar ook veel in waterverf. Daarnaast experimenteerde hij met etsen, litho's, houtgravures en droge naald-technieken. Hij schilderde landschappen, met name tijdens zijn vele reizen, maar hij maakte vooral veel zelfportretten (in totaal zo'n 200, vrijwel altijd met zijn hoofd voor een opzichzelfstaande achtergrond) en portretten van zijn vrouw Sonia (zo'n 120, vaak aan het werk). Ook koos hij regelmatig voor religieuze en mythologische thema's. Zijn contemplatieve, introspectieve karakter en zijn gave tot observatie en karakteranalyse, weerspiegelen zich voortdurend in zijn expressionistische werkwijze. Zijn ervaringen uit de Eerste Wereldoorlog en het lijden aan een zwakke gezondheid, zijn in zijn werk merkbaar aanwezig, bijvoorbeeld door het ongewoon combineren van elementen als bloemen met onweer. Angst en dreiging zijn voortdurend voelbaar.
In recente jaren kent het werk van Gramatté een sterke herwaardering. In 2008 vond onder de titel Wiederentdeckt: Walter Gramatté 1897-1929 een grote overzichtstentoonstelling plaats in het Ernst Barlach Haus in Hamburg. Vanaf 2010 heeft het Frankfurter Kunstkabinett Teile een permanente expositie van zijn werk ingericht.