Rossiter comincia a correre a 14 anni sui kart, dove rimane per oltre 3 anni. Nel 2001 testa una Formula Palmer Audi, della scuderia formata dall'ex pilota di Formula 1Jonathan Palmer. Tra la fine del 2001 e del 2002 fa da collaudatore in Formula Renault e inizia a competere partecipando ad alcuni round della Formula Renault UK. Nel 2003 partecipa all'intera stagione della serie e ottiene una vittoria e dieci podi chiudendo terzo in classifica dietro Lewis Hamilton e Alex Lloyd.
Dal 2004 Rossiter inizia a competere in Formula 3, arriva terzo nella British Formula 3 International Series dietro a Nelson Piquet Jr. e Adam Carroll e quarto nel Bahrain Superprix vinto da Hamilton. L'anno seguente passa alla Euroseries dove chiude settimo in classifica e diventa collaudatore del team di Formula 1, BAR Honda.
Il 2006 è il suo ultimo anno a guida nelle serie minori: partecipa alla World Series by Renault, finendo tredicesimo.
Collaudatore tra Formula 1 e Formula E
James Rossiter durante i test a Jerez con la Force India
Nella stagione 2004 ha il primo approccio alla Formula 1 diventando pilota collaudatore del team BAR Honda[1]. Rimane pilota collaudatore del team britannico per i due anni successivi per poi passare nel 2007 alla Super Aguri e nel 2008 al team ufficiale della Honda[2][3].
Il team Honda decide di lasciare la Formula 1 a fine 2009, Rossiter cerca un sedile da titolare per la stagione 2010 vista l'entrata di quattro nuovi team e trova un ingaggio con il team Team US[4] che tuttavia, per problemi economici, deve rinunciare a partecipare al campionato[5]. Rimasto a piedi prova ad entrare nella IndyCar Series con il team KV Racing ma anche in questo caso trova le porte chiuse[6].
L'anno seguente gareggia a tempo pieno sia nel Super GT, sempre con TOM'S, che nella Super Formula con il team Kondō Racing. Rossiter in GT ottiene due vittorie e finisce di nuovo terzo in classifica, mentre in Formula ottiene un secondo posto come miglior risultato.
Rossiter ha continuato con il doppio impegno anche per il 2015 e 2016 dove ottiene quattro podi e una vittoria nel GT. Nel 2017 lascia Kondō Racing e ritorna al Vantelin Team TOM'S in entrambe le serie. Nel 2019, ultimo anno in Giappone, Rossiter si unisce al Team Impul nel Super GT.
Nel 2012 si è unito al team Lotus per correre nella classe LMP2 del team Campionato del mondo endurance[9]. Rossiter ottiene il miglior piazzamento in Bahrain ed è partito in pole nel evento di Shanghai. Con il team ha continuato a correre in modo part-time anche per i due anni successivi[10]. Nel 2012 partecipa anche a un test per giovani piloti fatto del team Audi del Deutsche Tourenwagen Masters[11].
Dopo un anno d'assenza rientra nel WEC con il team ByKolles Racing nel 2016[12]. Rossiter guida la ENSO CLM P1/01 e ottiene sei apparizioni nella classe LMP1 in tre anni di corse, mentre con il team G-Drive Racing corre la 6 Ore del Fuji nel 2017 nella classe LMP2.
Il 7 ottobre 2022 ha annunciato il suo ritiro dalle competizioni professionali e viene designato nuovo Team Principal del team di Formula E, Maserati MSG Racing dalla stagione 2023[16]