Er wuchs in Lubbock, Texas auf, der Stadt, die auch Buddy Holly und Delbert McClinton hervorgebracht hatte. Als Teenager lernte er Butch Hancock und Joe Ely kennen. 1971 gründeten die drei zusammen mit weiteren Musikern die Flatlanders. Ein Jahr später wurde in Nashville ein erstes Album eingespielt und die Single Dallas veröffentlicht. Das Album wurde aber von der Schallplattenfirma nur als Kassette veröffentlicht; die Single erwies sich als Flop. Kurze Zeit später lösten sich die Flatlanders auf. Jimmie Dale Gilmore stieg vorübergehend aus dem Musikgeschäft aus und verbrachte die folgenden sechs Jahre in Denver.
1980 zog Gilmore ins texanische Austin und begann in den Clubs der Region aufzutreten. In der Zwischenzeit hatte Joe Ely Karriere gemacht. Die ehemaligen Flatlanders und damit auch Gilmore gewannen dadurch in der Szene an Bekanntheit. Über Ely kam 1988 schließlich ein Plattenvertrag mit dem Label Hightone zustande. Im gleichen Jahr wurde das erste Solo-Album Fair And Square produziert. Wie auch bei den folgenden Alben wurde hauptsächlich selbstgeschriebenes Material und Songs von Butch Hancock verwendet. Sein drittes, von der Kritik hoch bewertetes Album After Awhile gilt als sein musikalischer Durchbruch. Es folgten weitere Produktionen. Einen weiteren Höhepunkt stellt die im Jahr 2000 erschienene CD One Endless Night dar.
Mit seiner eigentümlichen nasalen Tenorstimme war es für Jimmie Dale Gilmore nicht leicht, ein Massenpublikum zu gewinnen. Die unstrittige Qualität seiner Musik verschaffte ihm jedoch eine kleine, aber treue und überzeugte Anhängerschaft. Auf seinen CDs singt er häufig Genre-Klassiker und immer wieder Stücke von Townes van Zandt.
Erlewine, Michael u. a. (Hrsg.): All Music Guide to Country Music. The experts guide to the best recordings in country music. San Francisco, Cal.: Miller Freeman Books, 1997, S. 176 (Biographie und kommentierte Diskographie)
