Nel 2002 passò agli Indianapolis Colts ancora come allenatore dei quarterback e assistente del capo allenatore. Nel 2009 assunse il ruolo di capo allenatore concludendo con il record di 14 vittorie e 2 sconfitte vincendo la NFC South division. Arrivò fino all Super Bowl XLII perdendo contro i New Orleans Saints. Nel 2010 rivinse la propria division con 10 vittorie e 6 sconfitte, venendo subito eliminato nel turno delle wild card dei playoff dai New York Jets. Nel 2011, complice l'infortunio che tenne fuori per tutto l'anno il quarterback Peyton Manning, i Colts terminarono con un record di 2-14, il peggiore della lega. Il 17 gennaio 2012 venne esonerato.
Il 30 gennaio 2012, Caldwell firmò per i Baltimore Ravens come allenatore dei quarterback. Prima della 15a settimana venne promosso al ruolo di coordinatore dell'attacco, al posto del licenziato Cam Cameron[1]. Grazie al suo intervento l'attacco della squadra cambiò marcia, andando infine a vincere il Super Bowl XLVII contro i San Francisco 49ers.
Il 14 gennaio 2014, Caldwell fu assunto come capo-allenatore dei Detroit Lions[2]. Il 24 settembre 2017 firmò un rinnovo con la squadra ma a fine stagione fu licenziato.[3]