In 1962-63 begon de band in de buitenwijken van Londen onder de naam "the Metropolis Blues Quartet". In 1963 werd de naam veranderd in "The Yardbirds". Ze kregen volop de aandacht van de Britse rhythm and blues-scene toen ze The Rolling Stones opvolgden als de officiële huisband van de Londense Crawdaddy Club.
Onder begeleiding van Crawdaddy's impresario Giorgio Gomelsky, die de rol van manager en producer op zich nam, kregen ze in 1964 een contract bij het Columbia-label van EMI. De band was voor het eerst op plaat te horen als begeleidingsband van de blueslegendeSonny Boy Williamson II, met wie ze door Europa toerde. In 1964 kwam het eerste album uit, Five Live Yardbirds, een live-album.
De band wilde ook de popmarkt veroveren en bracht enkele singles uit. De eerste singles waren oude blues-covers, maar ze kregen hun eerste grote succes met For Your Love, een nummer geschreven door Graham Gouldman (later 10CC). De single was voor de band het eerste grote succes in eigen land en de grote doorbraak in het buitenland. Alhoewel de single een vernieuwend stuk was en een groot succes, viel hij niet in de smaak bij Clapton, die in die tijd een pure bluesman was. Hij verliet de band begin 1965 en vertrok naar John Mayall's Bluesbreakers. Als vervanger raadde Clapton Jimmy Page aan, die het aanbod afsloeg en op zijn beurt Jeff Beck aanraadde.
Beck voelde zich meer thuis in de experimentele popmuziek dan Clapton. Onder invloed van Beck ging de stijl richting de psychedelische rock. De eerste hits met Beck waren Heart Full of Soul en Evil-Hearted You, beide geschreven door Gouldman.
In 1966 nam de groep een nieuwe manager, Simon Napier-Bell. Samen met Samwell-Smith schreef hij hun hit Over Under Sideways Down en produceerde hij hun eerste album Yardbirds, ook wel bekend als Roger the Engineer. Op dit album mengden ze de blues met Europese folk en Gregoriaanse zang, oosterse invloeden en de bekende "raveups". Dat, in combinatie met Jeff Becks karakteristieke gitaarspel, bracht de band in groot aanzien bij een alternatiever publiek. Begin 1966 werd I'm a Man, een klassiek nummer van Bo Diddley, een wereldwijde hit.
Na het uitbrengen van Roger the Engineer besloot Samwell-Smith om te stoppen met de basgitaar en de productie in handen te nemen. Jimmy Page sloot zich aan bij de band en nam de basgitaar tijdelijk over, die vrij snel daarna door Dreja werd overgenomen. Page en Beck speelden voor een korte tijd samen gitaar, totdat Beck in 1966 uit de groep ging en zijn eigen band begon. Er kwam één single uit waarop beide topgitaristen te horen waren, Happenings Ten Years Time Ago, een psychedelisch hoogstandje. John Paul Jones speelde de basgitaar. Ook was de band te zien in Blowup, de filmklassieker van Michelangelo Antonioni. Ze lieten hierin Stroll On horen, een bewerking van hun eigen The Train Kept A-Rollin'.
Kort na het vertrek van Beck stapte ook hun manager Simon Napier-Bell op. Hij werd vervangen door Peter Grant, later ook de manager van Led Zeppelin.
De experimenteerdrift van de band, en vooral van Page, was hoog. Een akoestisch nummer als White Summer bleek een voorproefje te zijn van later akoestisch werk van Jimmy Page met Led Zeppelin.
Na het succes
Ondanks (of juist door) het vernieuwende geluid van de band was het succes en de populariteit tanende. EMI zette zelfs hitproducer Mickie Most in, een man die succes had geboekt met popacts als Herman's Hermits en Lulu. Singles, waaronder een cover van Manfred MannsHa Ha Said the Clown, deden weinig tot niets in de hitlijsten. In juli 1968 ging de band uit elkaar. Page probeerde een nieuwe Yardbirds te creëren, die eerst "The New Yardbirds" zou heten, maar later resulteerde in Led Zeppelin.
Samwell-Smith werd de vaste producer van Cat Stevens, en hielp Relf en McCarty toen deze de folkgroep Renaissance wilde oprichten. Eind jaren zeventig richtte Relf "Armageddon" op, een mengsel van hardrock en folk. Er kwam één album uit voordat Relf in 1976 omkwam door elektrocutie, terwijl hij op zijn gitaar speelde. In de jaren tachtig traden de overgebleven leden op in een soort reünieband genaamd "Box of Frogs". Ook Jeff Beck en Jimmy Page maakten soms deel uit van deze band.
In 1992 werden The Yardbirds opgenomen in de Rock and Roll Hall of Fame. Alle levende leden, onder wie ook Beck, Page en Clapton, kwamen naar de ceremonie.
In 2003 brachten Dreja en McCarty onder de naam The Yardbirds een nieuw album uit, Birdland, en toerden ze door Amerika. Op één track was Jeff Beck te horen.