Prvu obuku kao klavijaturist stekao je u prestižnoj glazbenoj školi Julliard School of Music, koju je počeo pohađati s devet godina. Rudess je tada pohađao sate klasične glazbe. S devetnaest godina sve više počinje koristiti sintisajzer tijekom svojih izvedbi te se okreće solo karijeri. 1994. godine u anketi čitatelja časopisa Keyboard Magazie imenovan je za najboljeg nadolazećeg talenta. Tada se pridružuje legendarnom instrumentalnom rock sastavu Dixie Dregs. Iako su ga u isto vrijeme pokušavali angažirati članovi sastava Dream Theater, Rudess se odlučio za sastav Dixie Dregs jer mu je sviranje s njima pružalo veće osobno zadovoljstvo. Ipak, 1999. godine kada je prekinuo rad sa sastavom Dixie Dregs, prihvaća novu ponudu bubnjara Dream Theatera, Mikea Portnoya te se pridružuje sastavu u stvaranju njihovog petog studijskog albuma Scenes from a Memory. Rudess je od tada s velikanima progresivnoga žanra snimio šest studijskih albuma. Također je surađivao s britanskim rock velikanom Davidom Bowiejem.