Gegründet wurde die Band am College von Greenville in Illinois. Dan Haseltine als Sänger und Songschreiber und Keyboarder Charlie Lowell waren in der Projektgruppe Contemporary Christian Music (CCM) und arbeiteten zusammen an einer Songaufnahme. Dazu kam Gitarrist Stephen Mason. Als Bandnamen wählten sie eine Bibelstelle aus dem Neuen Testament aus 2. Korinther 4, Vers 7: „Wir haben aber diesen Schatz in irdenen Gefäßen (englisch: Jars of Clay), damit die überschwängliche Kraft von Gott sei und nicht von uns.“ (Übersetzung nach Luther)
Das Trio setzte die Zusammenarbeit über die Schule hinaus fort und machte weitere Aufnahmen. 1994 nahmen sie ein Demo-Tape auf und bewarben sich bei einem Talentwettbewerb der Gospel Music Association. Sie wurden nach Nashville eingeladen und gewannen den Wettbewerb. Als daraufhin das Interesse der Musikindustrie erwacht war, beschlossen sie, die Schule aufzugeben und als Musiker nach Nashville zu ziehen. Von den College-Freunden, die sie bisher bei Liveauftritten unterstützt hatten, wollte keiner den Schritt mitgehen und so holten sie mit Matt Odmark einen vierten Mann aus dem weiteren Bekanntenkreis als zweiten Gitarristen hinzu. Sie unterschrieben bei Essential, einem kleineren Label, außerdem bot sich ihnen mit Adrian Belew ein erfahrener Rockmusiker als Produzent an. Er unterstützte sie unter anderem beim Song Flood, der bei den einschlägigen Radiosendern gut ankam. Daraufhin promotete das Label den Song auch bei den Mainstream-Sendern und steigerte deutlich die Popularität der Band. Flood schaffte es bis in die Top 40 der Singlecharts und das nach der Band benannte Debütalbum Jars of Clay stieg auf Platz 46 der offiziellen Albumcharts und hielt sich über ein Jahr in den Top 200. In den Genrecharts, den Top Christian Albums, belegte es Platz 1. Es wurde mit Doppelplatin ausgezeichnet, was 2 Millionen verkauften Exemplaren entspricht. Außerdem wurde es für einen Grammy im Gospelbereich nominiert.
Obwohl sich Jars of Clay im Spannungsfeld befand zwischen den CCM-Fans, die wegen ihrer Nähe zum Mainstream-Rock skeptisch waren, und den Pop-Fans, die wenig Interesse an christlichen Texten hatten, konnten sie mit ihrem zweiten Album den Erfolg noch steigern. Produziert wurde Much Afraid vom Briten Steve Lipson, der mit Annie Lennox schon einen Grammy gewonnen hatte. Das Album stieg in die Top 10 der offiziellen Charts ein und verkaufte erneut über 1 Million Exemplare. Und diesmal gewannen sie den Grammy in der Kategorie Pop-Gospel-Album.
Stilistisch verbinden Jars of Clay eingängigen Rock mit folkigen Elementen. Die Band wird zuweilen mit U2 verglichen, deren Leadsänger Bono wiederum bei einem Interview angab, ein großer Fan von Jars of Clay zu sein. In den Liedtexten spielt der Glaube der Bandmitglieder an Jesus Christus eine zentrale Rolle. Charakteristisch ist hierbei eine lyrisch anspruchsvolle und bildhafte textliche Umsetzung. Während sie damit der Alternative-CCM-Bewegung den Durchbruch brachten und den Weg ebneten für Bands wie Sixpence None the Richer und Creed, konnten sie dauerhaft die Mainstream-Popularität nicht aufrechterhalten.
Erfolge in den 2000ern und auslaufende Karriere
Das 1999er Album If I Left the Zoo, produziert von Dennis Herring (u. a. Counting Crows und Throwing Muses), war ihr zweites Nummer-1-Christian-Album und brachte ihnen den zweiten Pop-Gospel-Grammy. Mit Platz 44 und 12 Chartwochen in den Billboard 200 blieb es aber ein Stück weit hinter dem Erfolg der Vorgänger zurück. Sie verfolgten aber selbstbewusst ihren Weg und produzierten das nächste Album The Eleventh Hour selbst. Es erschien Anfang 2002 und brachte ihnen den dritten Grammy in Folge. Obwohl es mit Platz 28 ihre zweitbeste Platzierung in den offiziellen Charts brachte, war es aber kommerziell nicht so erfolgreich.
Nach einer Konzert-DVD folgte im Jahr darauf die Doppel-CD Furthermore: From the Studio / From the Stage mit Live- und Neuaufnahmen älterer Songs. Das Album kam gut an und erreichte noch einmal eine Goldauszeichnung. Das fünfte Studioalbum Who We Are Instead im selben Jahr war dagegen ihr am wenigsten erfolgreiches und kam als einziges nicht unter die Top 100 der offiziellen Charts. 2005 kehrten Jar of Clay dann mit dem Album Redemption Songs zurück. Mit dieser Aufnahme populärer Kirchenlieder und Spirituals waren sie wiederum bei den Fans christlicher Musik sehr erfolgreich. Das Album kam auf Platz 1 im Christian-Music-Genre und hielt sich über ein Jahr in den Charts. Das Studioalbum Good Monsters war danach wieder eines der erfolgreicheren.
Es folgten drei Jahre ohne neues Studioalbum, dafür mit verschiedenen anderen Veröffentlichung, darunter das Livealbum zu Good Monsters, eine Essentials-Kompilation, ein Greatest-Hits-Album, ein Album mit Weihnachtsliedern und die EPStronger. Die drei Letztgenannten erreichten ebenfalls Chartplatzierungen. Mit dem Album Long Fall Back to Earth folgte 2009 wieder eine Rückbesinnung zu den poppigeren Klängen und zur Musik der 1980er im Stil von Tears for Fears und The Cure. Mit Platz 29 schnitt es in den offiziellen Charts gut ab, aber auch den CCM-Fans gefiel das Werk und brachte sie zum vierten Mal auf Platz 1 bei den Christian Albums. The Shelter folgte nur ein Jahr später in ähnlichem Stil, aber trotz zahlreicher Kollaborationen unter anderem mit Musikern wie TobyMac und Mac Powell konnte es den Erfolg nicht halten.
So dauerte es wieder drei Jahre, bis ein neues Album mit wieder einer neuen Ausrichtung erschien. Inland wurde von Tucker Martine produziert und brachte einen Bass-lastigeren, in Richtung Grunge tendierenden Klang. Das Album erreichte 2013 noch einmal Platz 2 in den Christian-Charts. Danach wurde es still um das Quartett. Eine Kompilation zum 20-jährigen Bandbestehen war 2014 ihr letztes Chartalbum.
