Old Crow Medicine Show ble dannet 1998 i New York, men flyttet via Nord-Carolina til Nashville. I 2003 skrev de kontrakt med selskapet Nettwerk og gav i 2004 ut sitt fjerde album, Old Crow Medicine Show, som er produsert av David Rawlings. Musikere på albumet er Critter Fuqua (banjo, gitar, sang), Kevin Hayes (gitar), Morgan Jahnig («ståbass»), Ketch Secor (banjo, fele, munnspill, sang) og Willie Watson (banjo, gitar, sang).
Oppfølgeren Big Iron World (2006) ble også produsert av Rawlings. På sitt sjette album, Tennessee Pusher (2008) brukte bandet produsenten Don Was. Den 17. Juli 2012 ble det sjuende albumet, Carry Me Back, sluppet. Produsent er Ted Hutt.