Kemijärvi esimene alaline elanik oli Paavali Halonen, kes kolis sinna koos oma naise Annaga 1580. aasta paiku Oulu kandist Niskakyläst. Neil oli kolm poega Paavo, Olli ja Pekka Halonen. Nende talu piirkonda nimetatakse tänapäeval Halosenrannaks. Sel ajal ei olnud see kant enam saamidega asustatud, kuid läheduses asub saamide iidne ohvripaik Ämmänvaara.
Kemijärvi linn tekkis 1957, kui Kemijärvi kirikuküla ja mõned lähedalolevad asulad eraldati Kemijärvi vallast ja nimetati linnaks. 25. novembril1960 sai Kemijärvi linn oma vapi. 1973 ühendati Kemijärve linn ja vald uuesti ning saadud omavalitsusüksus nimetati Kemijärvi linnaks.
Kuni 2006. aastani väljus Kemijärvilt kiirrong, mis sõitis öö otsa ja jõudis hommikul Helsingisse. Rong võeti käigust ära 2006. aastal, kui Soome Raudtee teatas, et uued magamisvagunigarongid ei saa sõita elektrifitseerimata raudteel, nagu need Rovaniemest põhja pool on.
