Han er sønn av legen Richard Asher og hustru Margaret (født Eliot), eldre bror av skuespillerinnen og forretningskvinnen Jane Asher og av skuespillerinnen Clare Asher, som mest er kjent gjennom sine roller i hørespill for BBC radio. Som elev på Westminster Boys’ School i London møtte han i 1959 på den ett år yngre legesønnen, Gordon Waller (1945–2009). Sammen med en tredje kamerat dannet de en trio som spilte på kaffebarer og skoletilstelninger.
Ettersommeren 1963 bestemte de seg for å danne duoen Peter & Gordon og satse på en karriere som musikere. De spilte nå fast på «The Country Guitar» i Tottenham Court Road, og fikk senere samme høst et engasjert for to ukers opptreden ved entetaineren Harry Secombes «Pickwick Club» på Londons West End, hvor en rekke mennesker fra underholdningsbransjen vanket. Her ble de oppdaget av plateprodusenten Norman Newell og sangerinnen Dorothy Squires. På Secombes anbefaling lot Newell dem gjøre en prøveinnspilling i EMIs Abbey Road Studios i januar 1964.
De valgte å presentere seg for plateselspet med countryklassikeren "Five Hundred Miles", men ønsket helst å bli lansert gjennom en selvkomponert låt, "If I Were You". Imidlertid hadde hans søster, skuespilleren Jane Asher, blitt venninne med Paul McCartney, og dermed mottok de isteden en sang fra ham, kalt "A World Without Love".
Sangen ble spilt inn 21. januar 1964 og fremskyndet til utgivelse allerede måneden etter. 12. mars entret de hitlistene, og 23. april erstattet duoen ironisk nok The Beatles’ egen "Can’t Buy Me Love" på førsteplassen. Låta nådde toppen i ni land, deriblant USA, som i fortsettelsen syntes å trykke duoen enda mer til sitt bryst enn hva hjemlandet, England, gjorde. Sammen med Gordon Waller spilte han inn i alt 11 album, og fra disse ble det skilt ut en mengde singelutgivelser. De to oppnådde å tegne seg for en rekke store slagere før de valgte å skille lag i september 1968.
Som plateprodusent
Etter at samarbeidet med Gordon Waller opphørte tok Peter Asher ansvaret for A&R delen av Apple Records. Hans første store oppgave var å produsere den helt ukjente amerikanske viseartisten James Taylors første album. LP-en fikk begrenset oppmerksomhet, men Asher var så sikker på Taylors potensial at sa opp stillingen i Apple og flyttet til USA for å operere som visesangerens manager og plateprodusent. Med den neste platen ble James Taylor en verdenssensasjon, og dermed fikk publikum også øynene opp for hvor bra hans første album var. Asher har like til det siste fortsatt å produsere James Taylors album.
I 1969 ble Asher av George Harrison bedt om å oppsøke et amerikansk band, The Raven, som hadde tilhold i New York City.[5] Han tilbød dem straks platekontrakt med Apple Records, men gruppa valgte å avslå tilbudet og isteden inngå en avtale med Columbia Records.[6]
Tidlig på 1970-tallet opptrådte Asher også som manager for countryrock bandet "Country", som var knyttet til Atlantic Records gjennom underselskapet Clean Records. Asher oppnådde sin største suksess som plateprodusent med en lang serie platina-belønte plater for Linda Ronstadt, som talte de kritikerroste albumene Heart Like a Wheel, Simple Dreams, What's New og Cry Like a Rainstorm, Howl Like the Wind.
Asher må dessuten sies å ha spilt en vesentlig rolle i frembringelsen av den såkalte californiske sounden på 1970. Som plateprodusent i California har Asher på 1980-tallet blant annet arbeidet med så ulike artister som John Stewart, Cher, Diana Ross J.D. Souther, Andrew Gold, Bonnie Raitt og 10,000 Maniacs. For artisten Cher produserte han slageren Shoop Shoop Song (It’s In His Kiss) som klatret helt til topps på de britiske hitlistene.
Asher har blitt sitert for å påstå at Mike Myers skulle ha meddelt ham at han skapte komifiguren Austin Powers etter Ashers utseende på 1960-tallet.[7] Likheten i fremtoning må faktisk sies å være ganske slående.
Peter Asher og Gordon Waller spilte sammen i New York på den årlige Beatlefest i 1976.[8] Også i 2005 tok Peter opp samarbeidet med Gordon Waller.
