Dopo aver studiato al "Neighborhood Playhouse" di Sanford Meisner, prese parte a numerosi film e telefilm, vincendo il premio della critica per il ruolo della madre di Sally Field nel film Norma Rae (1979). Ma il suo vero amore fu Broadway, dove debuttò nel 1948 nella commedia di Noël CowardVite in privato. Tra i soci fondatori dell'Actor's Studio, la Baxley studiò con Elia Kazan. Il 7 giugno 1990 venne rinvenuta cadavere per un attacco di cuore nel suo appartamento di New York; amante dei gatti, ne possedeva uno di nome "Tulah".