Han ble født av fattige foreldre og var en av elleve søsken i familien. Etter en turbulent barndom med tyverier og småkriminalitet ble han sendt til spesialskole i tiårsalderen. Han begynte å bokse i fjortenårsalderen. Kun 17 år gammel vant han olympisk gull som mellomvekter i OL 1952 i Helsingfors.
Som profesjonell bokser fikk han den legendariske Cus D'Amato som trener. I 1956 ble han den til da yngste tungvektsmesteren da han slo ut Archie Moore på knockout og vant den ledige tittelen etter Rocky Marciano.
Han tapte verdensmestertittelen den 26. juni 1959 da han ble beseiret av Ingemar Johansson i en kamp der han gikk i gulvet ikke mindre en sju ganger. Dommeren stoppet kampen i tredje runde. Men han skrev boksehistorie ett år senere, 20. juni 1960, da han ble den første tungvektsmesteren som tok tilbake tittelen. Han slo ut den svenske verdensmesteren i femte runde. I den tredje kampen mot Ingemar Johansson forsvarte han tittelen etter en dramatisk kamp. I første runde var Floyd nede i gulvet to ganger og Ingemar en gang.
Han tapte på nytt sin verdensmestertittel den 25. september 1962 til Sonny Liston på knockout i første runde, og i returkampen mot Sonny Liston ti måneder senere 22. juli 1963 var han sjanseløs og ble på nytt slått ut i første runde, men denne gangen varte kampen 6 sekunder lenger.
I 1965 fikk han en ny sjanse å gjenvinne tittelen. Hans motstander var denne gang Muhammad Ali. Han gjorde en god kamp og kjempet tappert, men mislyktes i sitt forsøk på å bli verdensmester på nytt. I tolvte runde stoppet dommeren kampen ettersom Ali dominerte kampbildet stort og påførte sin motstander en rekke slagserier.
Tross flere forsøk klarte aldri Patterson å vinne VM-tittelen for tredje gang. Men Floyd fortsatte å bokse. Han møtte blant andre Eddie Machen, George Chuvalo, Jerry Quarry (to ganger), Oscar Bonavena og Jimmy Ellis. Hans siste kamp var et andre møte mot Muhammad Ali i 1972. Ali vant matchen, som ikke var noen VM-tittelkamp, på knockout i sjuende runde. Selv om han tapte de fleste av disse kampene, kan det godt sies at hans beste prestasjoner kom etter at han hadde vært verdensmester.
Floyd Pattersons statistikk som profesjonell bokser; 55 vunnet, hvorav 40 på knockout, 8 tap og en uavgjort.
Han er valgt inn i International Boxing Hall of Fame. Han ble i forbindelse med sine kamper mot svenske Ingemar Johansson meget populær i Sverige, og han besøkte landet flere ganger.
Patterson døde 11. mai 2006 etter å ha hatt Alzheimers i nesten åtte år samt kjempet mot prostatakreft.
