Scherman växte upp i Linköping och sommararbetade med att skriva vigselnotiser på Östgöta Correspondentens länsredaktion 1967.[2] Han studerade franska och därefter journalistik vid Göteborgs universitet innan han tog examen 1972.[2] Han var politiskt aktiv i Göteborgsavdelningen av FNL.[3]
TV-karriären inleddes 1980 när han började arbeta vid Sveriges Television, först på Rapport och senare på Östnytt och Aktuellt.[2] 1989 delade han Stora journalistpriset med Göran Ellung för grävande journalistik kring JAS-projektet.[2] 1991 var han med och startade TV4:s samhällsprogram Kalla fakta och från 1998 kanalens programdirektör. 2001 blev han verkställande direktör för TV4.[2]
Scherman lämnade under 2011 sin plats som VD för TV4-gruppen till Casten Almqvist.[4] Scherman har efter att han slutat på TV4 arbetat på Bonniers med tv och medier. Den 28 juli 2012 var Scherman sommarpratare i P1.[5] Sommaren 2013 meddelades att Scherman fått anställning som strategisk rådgivare för Aftonbladet TV från årsskiftet 2013/2014.[6] Ett arbete som han kombinerar med styrelsearbete och andra uppdrag.[7] 2016 lämnade han sin tjänst för att få mer tid med privatlivet men fortsätter som konsult och debattör.[8]
I september 2016 meddelades att Scherman skulle göra tv tillsammans med sin förre programdirektör Tobias Bringholm på den sistnämndes bolag Storyfire. Förutom att bidra med sina kontakter och sitt kunnande om tv skulle Jan Scherman även bidra journalistiskt till Storyfire. [9]
