Harman ist die Tochter von Lucille Geier und Adolph N. Lakes. Ihr Vater, der in Polen geboren war, war nach Deutschland ausgewandert und hatte in der Zeit des Nationalsozialismus 1935 dort das Medizinstudium abgeschlossen. Anschließend war er nach New York ausgewandert und als Arzt tätig. Ihre Mutter, die aus Russland in die Vereinigten Staaten eingewandert war, hatte als erstes Mitglied ihrer Familie das College besucht. Die Familie zog im Kindesalter Harmans nach Los Angeles.[1] Nach ihrem High-School-Abschluss 1962 studierte sie am Smith College, das sie 1966 mit dem Bachelorgrad verließ. Sie wurde in die akademische Vereinigung Phi Beta Kappa aufgenommen.[2] Anschließend absolvierte sie die Harvard Law School, die sie 1969 abschloss.[3] Danach arbeitete sie unter anderem für SenatorJohn V. Tunney.
1980 ließ sie sich von Richard Frank scheiden, mit dem sie zwei Kinder hat,[4] und heiratete im selben Jahr den Unternehmer Sidney Harman († 2011), mit dem sie ebenfalls zwei Kinder hat.[5]
