A finales de la década de 1920 comenzó a trabajar en Broadway en pequeños papeles, hasta que, a mediados de la década de 1930, la por entonces joven actriz Katharine Hepburn le vio actuar y quedó tan sorprendida de su trabajo, que le propuso trabajar en el cine. Firmó entonces un contrato con la RKO. Debutó en 1936, en la película Una mujer rebelde (1936) de Mark Sandrich. Mientras, en el escenario del teatro protagonizó obras tan importantes como Historias de Filadelfia.
En el cine, el éxito le acompañó enseguida. Las décadas de 1940 y 1950 fueron las más importantes en su carrera cinematográfica.
Durante toda su vida, Heflin nunca dejó de trabajar en el teatro, donde siguió cosechando importantes éxitos, así como tampoco dejó de amar el mar que tanto le había apasionado en su juventud.
Falleció de un ataque al corazón, a los 62 años de edad, mientras nadaba en la piscina de su residencia.
