Johansson begynte å spille piano i 1942. Han studerte elektronikk ved Chalmers tekniska högskola i Göteborg i begynnelsen av 1950-årene, men avbrøt studiene for å hengi seg til musikken på heltid. I perioden 1958–1960 spilte han sammen med Stan Getz og andre amerikanske musikere. Johansson var det første europeiske medlemmet i Jazz at the Philharmonic.
I 1961 begynte Johansson samarbeidet med svenske musikere som Arne Domnérus, Georg Riedel og andre. Albumet Jazz på svenska, som opprinnelig ble utgitt i 1963, har blitt en moderne klassiker med sin blanding av jazz og svenske folkemelodier. Johansson utgav siden jazzversjoner av russisk og ungarsk folkemusikk på LP-platene Jazz på ryska (1967) og Jazz på ungerska (1968). Også på Musik genom fyra sekler (1968) presenterer han sine tolkninger av iørefallende og folkelige melodier. Disse samlingene har kommet i flere opplag.
Som komponist er Johansson best kjent for kjenningsmelodien til den svenske fjernsynsserien om barnebokfiguren Pippi Langstrømpe som ble sendt første gang i 1969.
