Johnson verhuisde op zijn negende met zijn familie van zijn geboorteplaats Hillsboro naar Kingsburg in Californië, waar de Johnsons een tijd lang de enige gekleurde familie in de stad waren. Op de middelbare school bleek Rafer een veelzijdige atleet, die actief was in rugby, honkbal en basketbal. Op zijn zestiende werd hij een keer door zijn coach Murl Dodson meegenomen naar Tulare, 40 kilometer verderop, waar Bob Mathias, de olympische kampioen op de tienkamp van 1948, deelnam aan de olympische selectiewedstrijd voor tienkampers voor de Spelen van 1952. Hierdoor raakte hij geïnspireerd in de atletiek, temeer omdat hij na afloop vaststelde dat hij de meeste van de atleten die hij aan het werk had gezien, had kunnen verslaan. Enkele weken later nam hij deel aan zijn eerste tienkamp, voor speciaal hiervoor uitgenodigde highschoolleerlingen. Hij won hem gelijk, net als de tienkampen die in 1953 en 1954 voor highschoolleerlingen uit heel Californië werden georganiseerd.
Eerste wereldrecord
In 1954 was Johnson inmiddels eerstejaars student aan de Universiteit van Californië - Los Angeles, toen hij deelnam aan zijn vierde tienkamp; zijn vooruitgang bleek indrukwekkend. Met een totaal van 7985 punten verbeterde hij het wereldrecord van 7885 punten van zijn grote voorbeeld Bob Mathias, die dit record had gevestigd tijdens de Olympische Spelen van 1952 in Helsinki. In 1955 won hij vervolgens ook de tienkamp op de Pan-Amerikaanse Spelen in Mexico.
Olympisch kampioen
Vier jaar later, bij de Spelen in Rome, vocht hij een heroïsch gevecht uit met de TaiwaneesYang Chuan-Kwang, tevens studiegenoot in Los Angeles en trainingsmaatje. Tegen de verwachting in wist Johnson tijdens de 1500 m zijn voorsprong te behouden en het goud te winnen. In deze wedstrijd eindigde de NederlanderEef Kamerbeek als vijfde.
Carrière na atletiekloopbaan
Na Rome beëindigde Johnson zijn sportcarrière. Hij werd atletiekverslaggever en trad in enkele speelfilms op. In 1968 was hij actief in de campagne van Robert F. Kennedy. Hij was aanwezig in het Ambassador Hotel, toen Kennedy werd vermoord en wist met enkele anderen de moordenaar Sirhan Sirhan te overmeesteren. Zestien jaar later viel Johnson de eer te beurt de olympische vlam te ontsteken tijdens de openingsceremonie van de Olympische Spelen van 1984.