Han inledde sin karriär som basist, sångare och spelade trumpet [6] i bandet The Vegas Kings, bildat 1957. Snart blev han även huvudsångare i bandet, som bytte namn till i tur och ordning Ronnie and the Rumblers, Ronnie and the Redcaps och Ronnie Dio and the Prophets. Bandet bytte namn till Electric Elves som senare blev till Elf (1970–1975). Det var som medlem i The Elf som Dio började kalla sig Ronnie James Dio, innan hade han kallat sig Ronnie Dio. Det var även under samma tid som Dio slutade spela bas och koncentrerade sig på att sjunga. Under tiden som Elf fick bandet mer och mer kontakt med Deep Purple. Ian Paice och Roger Glover producerade deras första album Elf och Elf var förband till Deep Purple. Mickey Lee Soule och Dio var sedan med på Roger GloversButterfly Ball and The Grasshopper's Feast. Ritchie Blackmore och bandet Elf bildade bandet Rainbow som Dio var med i 1975–1978, där han var med och skrev klassiska låtar som "Long Live Rock and Roll", "The Man on the Silver Mountain" och "Tarot Woman". Han lämnade bandet när Ritchie Blackmore ville ändra bandet mot en mera populär stil.
Efter detta gick Dio vidare till Black Sabbath[7] där han gjorde tre album, Heaven and Hell, Mob Rules och Live Evil. Han slutade i bandet efter tre år, eftersom de andra medlemmarna i bandet påstod att Dio under arbetet med skivan Live Evil hade höjt volymen på sin egen röst.[8] Dio reste sedan till Storbritannien där han startade sitt eget band, Dio, vilket slog igenom stort hos hårdrocksfans med skivorna Holy Diver och The Last in Line. 1992 sjöng Dio på Black Sabbath-skivan Dehumanizer.
I slutet av 2006 återförenades Dio med Tony Iommi, Geezer Butler och Vinny Appice från Black Sabbath, nu under namnet Heaven and Hell.[11] Det var när dessa var medlemmar i Black Sabbath som skivorna Mob Rules och Dehumanizer gjordes men de valde att inte använda namnet Black Sabbath eftersom det bandet fortfarande spelade med en annan sättning.