Johnson studeerde Duitse taal- en letterkunde te Rostock en Leipzig. In 1959 vluchtte hij naar West-Berlijn, waar hij zich aansloot bij de schrijversvereniging Gruppe 47.
Johnson wordt met onder andere Heinrich Böll en Günter Grass gerekend tot de grootste schrijvers van de generatie die kort na de oorlog begon met schrijven.
Het vroege werk van Johnson behandelt vooral de problematiek van het verdeelde Duitsland. Zijn stijl kenmerkt zich door discontinuïteit (frequente en abrupte tijds- en perspectiefwisselingen) en het ontbreken van eenduidige interpretaties: de lezer moet steeds zelf zijn zin in de werken van Johnson leggen.
Johnsons bekendste werk is het monumentale, vierdelige Jahrestage (1971, 1972, 1973, 1984). In dit werk wordt de actuele levenswerkelijkheid uit het leven van de uit de DDR uitgeweken Gesine Cresspahl verbonden met de door Gesine herinnerde geschiedenis van de eigen familie tijdens de Weimarrepubliek en de opkomst van het nazisme. Heden en verleden, de Noord-Duitse provincie en het centrum van de Westelijke kapitalistische wereld, worden door Johnson ingenieus in elkaar verweven en verhelderen elkaar wederzijds, zonder dat Johnson zich laat verleiden tot causaal-logische verklaringen. Jahrestage werd in 2020 in Nederland in vertaling van Marc Hoogma uitgebracht als Een jaar uit het leven van Gesine Cresspahl.[1]