Ellison var sønn av en bygningsarbeider. Han kom til New York for å studere musikk og skulptur. I 1952 debuterte han som forfatter med romanen Usynlig mann, den eneste romanen som utkom i hans levetid. Denne boka regnes blant de betydeligste amerikanske utgivelsene fra 1950-tallet. Romanen tar opp sosiale og intellektuelle problemstillingene som afroamerikanere møtte tidlig på 1900-tallet.