All'età di 15 anni, mentre frequenta ancora la The City School, Cocker fondò gli "Arabacus Pulp" (nome sentito durante una lezione di economia). Dopo svariati cambi di formazione e dopo aver accorciato il nome in "Pulp", il gruppo conobbe finalmente un certo successo negli anni novanta, con i loro album più famosi: His 'n' Hers (1994) e Different Class (1995).
In occasione dei BRIT Awards 1996 Cocker salì sul palco come segno di protesta contro l'esibizione di Michael Jackson che stava cantando il suo ultimo successo Earth Song, circondato da bambini adoranti e un rabbino, come una sorta di Cristo. A quel punto Cocker ed il suo ex compagno di band salirono all'improvviso sul palco come segno di protesta.
Più avanti Cocker fu trattenuto e interrogato per sospetta aggressione dalla polizia, ma venne rilasciato senza accuse. Le reazioni della stampa all'episodio furono eterogenee. Sul numero del 2 marzo 1996 della rivista Melody Maker, ad esempio, si acclamava la nomina a cavaliere dell'impero britannico di Cocker, ed il suo amico Noel Gallagher degli Oasis dichiarò:
«Jarvis è una star e dovrebbe essere nominato baronetto»
«che credeva di fare Michael Jackson venendo in questo paese dopo tutto quello che ha fatto (e credo che tutti sappiano di cosa sto parlando), vestito di bianco, cioè, come se fosse il messia, voglio dire, ma chi si crede di essere? Me?»
In ogni caso, altri giornali e gli organizzatori dei BRIT Awards non la pensavano così e rimasero stupiti dal comportamento di Cocker. Cocker, rispondendo alle domande dei giornalisti, dichiarò: "La mia azione ha voluto essere una forma di protesta contro Michael Jackson, che vede sé stesso simile a Cristo, una figura con poteri curativi... sono solo salito sul palco... non ho fatto male a nessuno, a quanto ricordo".[2]
L'attenzione riservatagli dalla stampa per il gesto fece aumentare le vendite dell'album dei Pulp alle vette delle classifiche e gli fruttò una statua di cera, del costo di 30 000 sterline, esposta al Rock Circus di Londra.
Cocker è anche noto per le sue osservazioni argute riguardo all'ambiente culturale, durante gli anni novanta è stato spesso ospite di show televisivi e ha presentato alcune puntate di un programma d'arte sulla BBC.
È stato coautore di vari pezzi (Walk Like a Panther, 1st Man in Space, Drive Safely Darlin', Stars on Sunday e Happy Birthday Nicola) dell'album Pickled Eggs & Sherbet degli All Seeing I (1999) ed è sua la voce solista nella canzone Drive Safely Darlin'.
I Pulp dettero alle stampe altri due album (This Is Hardcore e We Love Life) apprezzati dalla critica ma che non ebbero lo stesso successo di pubblico di "Different Class". Dopo l'uscita di un Greatest Hits la band non ha fatto più parlare di sé. Cocker vive a Londra dopo il divorzio nel 2009 dalla stilista francese Camille Bidault-Waddington, da cui ha avuto un figlio, Albert, nato nel 2003.
Nel 2005 Jarvis Cocker è stato coautore di tre canzoni (La Degustation, Basque Country e Fred de Fred) nel disco di debutto omonimo del duo francese, ma emigrato a Sheffield, The Lovers. Ha anche contribuito alla colonna sonora di Harry Potter e il calice di fuoco con tre pezzi, da lui scritti ed interpretati: This is the Night, Do The Hippogriff e Magic Works. Ha anche avuto una breve parte nel film interpretando il cantante del gruppo di stregoni pop Weird Sisters (che però non vengono nominate nel film a causa di una disputa legale col vero gruppo Wyrd Sisters). Il gruppo creato per il film comprende anche Jonny Greenwood e Phil Selway dei Radiohead, Steve Mackey dei Pulp, Jason Buckle dei Relaxed Muscle e Steve Claydon dei Add N to (X). Nello stesso anno ha anche fatto una cover della canzone I Can't Forget di Leonard Cohen come parte di un tributo per la presentazione del film Leonard Cohen: I'm Your Man.
Jarvis Cocker sta proseguendo con la sua carriera solista e il suo album di debutto, Jarvis, è uscito nel Regno Unito il 13 novembre 2006 e nel marzo 2007 è apparso nell'album Pocket Symphony della band francese Air.
Il giorno di san Valentino 2007 è stato scelto per premiare col Best British Newcomer (miglior artista esordiente inglese) i Fratellis ai Brit Awards.
Jarvis ha recentemente collaborato con Beth Ditto dei Gossip alla cover del classico anni '80 Temptation, degli Heaven 17 in occasione degli NME Awards a Londra.