Harrison fit ses études au Liverpool College(en). Des suites d'une rougeole, il perdit quasiment l'usage de son œil gauche, infirmité qui le handicapa à plus d'une occasion au cours de sa carrière. Il débuta en 1924, à l'âge de 16 ans, au Liverpool Rep Theatre. Il interrompit sa carrière pendant la seconde guerre mondiale, durant laquelle il servit dans la Royal Air Force, où il finit flight lieutenant. Il monta sur scène toute sa vie durant, et fit sa dernière apparition le , à l'âge de 82 ans.
Il joua dans le 'West End of London' dans ses débuts, et c'est la comédie de Terence Rattigan, L’Écurie Watson(en), qui le révéla au public.
On se souvient davantage des années 1960 et du rôle du Professeur Henry Higgins qu'il interpréta dans la comédie musicale My Fair Lady, inspirée de la pièce de théâtre Pygmalion, de George Bernard Shaw auprès de Audrey Hepburn ; son rôle dans l'adaptation cinématographique lui valut de remporter l'Oscar du meilleur acteur en 1964. Il figura également à l'affiche de L'Extravagant Docteur Dolittle en 1967. Harrison n'était pas à proprement parler un chanteur, de sorte que les partitions étaient généralement adaptées en conséquence, et agrémentées de très larges récitatifs.
Rex Harrison ralentit sa carrière cinématographique dans les années 1970 et y met un terme en 1982, pour se consacrer aux planches de Broadway et au petit écran.
Rex Harrison se marie à six reprises. Il divorce pour la première fois en 1942, de Colette Thomas, pour épouser l'année suivante l'actrice Lilli Palmer. Le couple apparaît dans plusieurs productions dont The Four Poster. En 1947, Harrison a une liaison avec l'actrice Carole Landis ; un scandale éclate quand l'actrice met fin à ses jours le après une nuit passée avec lui. Le bruit qui entoure cette affaire ne manquera pas d'affecter sa carrière et met un terme au contrat qui le lie à Fox.
Deux étoiles portent son nom à Hollywood, la première au 6906 Hollywood Boulevard pour honorer l'acteur de cinéma, la seconde au 6380, pour saluer sa contribution télévisuelle.
