Julianna Margulies se rodila u porodici židovskog porijekla kao najmlađa od tri kćeri pisca Paula Marguliesa i balerine Francesce Marguelies. Djetinjstvo je provela u New Yorku, Francuskoj i Engleskoj.
Diplomirala je na Sarah Lawrence Collegeu, gdje je sudjelovala u kazališnim predstavama. Potom je u New Yorku studirala glumu, a filmski debi imala 1991. godine kao prostitutka u filmu Out for Justice.
Godine 1994. je angažirana za uloge Carole Hathaway u pilot-epizodi TV-serije ER. Producenti su ispočetka namjeravali njen lik likvidirati, odnosno ona je trebala počiniti samoubistvo zbog propale veze s razvratnim liječnikom Dougom Rossom. No, Carole Hathaway je umjesto toga samoubistvo samo neuspjesno pokušala, te postala stalan lik serije u sljedećih šest sezona. Svih šest sezona je Margulies bila nominirana za Emmy, a osvojila ga jednom.
Nakon izlaska iz serije je slijedilo nekoliko manjih filmskih angažmana, da bi od 2009. nastupala u TV-seriji The Good Wife, za koju je dobila niz prestižnih nagrada.
10.11.2007. Julianna Margulies se udala za Keitha Libertala, a 17.1.2008. mu rodila sina Kierana Lindsaya.