Die Gruppe wurde von dem ImpresarioAlbert Grossman ins Leben gerufen. Er wollte eine Folk-Supergruppe schaffen, indem er „eine große Blonde“ (Travers), „einen komischen Typ“ (Stookey) und einen „gutaussehenden Kerl“ (Yarrow) zusammenbrachte. Der erste Auftritt der Gruppe fand 1961 im Bitter End, einem Café in New YorksGreenwich Village, statt, das ein beliebter Ort war, um Folk-Künstler zu hören. Im darauffolgenden Jahr nahm die Gruppe ihr erstes AlbumPeter, Paul and Mary auf. Das Album erreichte als eines der wenigen Folk-Alben Platz eins der Billboard 200.
Nach ihrem dortigen Auftritt zählte die Gruppe in den folgenden Jahren zu den bekanntesten Vertretern der Bürgerrechtsbewegung und engagierte sich auch für andere soziale Fragen. Ihr größter Erfolg war Bob Dylans Song Blowin’ in the Wind, der auch international die Hitlisten eroberte – keine Single von Warner Bros. Records hat sich je so schnell verkauft. Auch andere Titel von Bob Dylan, Autor vieler Protestsongs der 68er-Bewegung, gehörten zu ihrem Repertoire, zum Beispiel The Times They Are A-Changin' und When the Ship Comes In. Ihr späterer Nummer-eins-Hit Leaving on a Jet Plane wurde von dem damals noch unbekannten John Denver geschrieben.
Später versuchten die Gruppenmitglieder es mit Solokarrieren, aber keiner hatte auch nur annähernd den Erfolg, den sie zusammen gehabt hatten. Allerdings wurde Stookeys The Wedding Song (There Is Love), den er 1971 für Yarrows Trauung mit Marybeth McCarthy, einer Nichte des Senators Eugene McCarthy geschrieben hatte, zu einem Standardsong für Hochzeiten. Ab 1978, als die Gruppe anlässlich eines Protests gegen Atomkraft für ein Benefizkonzert wieder zusammenfand, trat das Trio wieder gemeinsam auf und brachte einige neue Alben heraus. 1999 wurde die Gruppe in die Vocal Group Hall of Fame aufgenommen. Mary Travers erkrankte 2004 an Leukämie und starb im September 2009.