Shirley erhielt schon als Kind eine musikalische Ausbildung. Er wuchs in Detroit auf und war als Solo- und Chorsänger an Kirchen der Region aktiv. Außerdem spielte er Klavier und Blasinstrumente und war Baritonhornist in einer lokalen Band. Später studierte er Musik an der Wayne State University und nahm Gesangsunterricht bei Amos Ebersole. Nach dem Bachelorabschluss 1955 wurde er zur US-Army eingezogen und dort – ebenfalls als erster Afroamerikaner – Mitglied des United States Army Chorus. Noch während seiner Dienstzeit konnte er ab 1959 seine Gesangsausbildung bei Themy Georgi fortsetzen.
Shirley beherrscht das Fach des lyrischen Tenors ebenso wie das des dramatischen und Buffotenor. Er trat ebenso in Operettenaufführungen wie in Aufführungen von Werken der Moderne (etwa in der Titelpartie von Igor StrawinskisOedipus Rex) auf und sang als Tenor-Bariton in Pierre Boulez’ Einspielung von Claude DebussysPelléas et Mélisande. Zu seinen Auftrittsorten zählten u. a. das Royal Opera House Covent Garden London, die Deutsche Oper Berlin, das Teatro Colòn Buenos Aires, die Chicago Lyric Opera, die San Francisco Opera, die Nederlandse Opera Amsterdam, die Opéra de Monte Carlo, die New York City Opera, die Scottish Opera Glasgow, die Washington Opera, das Michigan Opera Theatre und das Santa Fe Opera House.