Het gebied zou al bewoond zijn geweest in de Noorse ijzertijd. Rond 1150 werd met de bouw van het houtenkerkje (staafkerk) Garmo begonnen. In de omtrek bevonden zich ook enkele boerderijen in het dal wat Birkebeiner wordt genoemd. Langs deze pas werd de zuigeling en toekomstige koning Haakon IV van Noorwegen in 1204 naar Nidaros vervoerd. De plek werd ook vermeld in 1390 als een plek waar bijeenkomsten werden gehouden. In de 18e eeuw had het een levendige handelsplaats, en kreeg ook de rechten van handelsstad, waarna het op 7 augustus 1827 daadwerkelijk stadsrechten verkreeg. Het stadje had toentertijd circa 50 inwoners met behuizing.
Het stadje Lillehammer werd op 1 januari 1838 ingericht als gemeenteplaats of kapittel (Formannskapsdistrikt) van omringend gebied. Het plaatsje Fåberg kwam daar op 1 januari 1964 bij.
De stad had begin 20e eeuw een ware aantrekkingskracht voor kunstschilders, door de speciale lichtinval vanuit de heuvels.
Lillehammer kwam in 1973 in het nieuws toen Ahmed Boushiki, een onschuldige Marokkaanse ober, werd vermoord door de Mossad. Deze werd per ongeluk voor Ali Hassan Salameh aangezien. Salameh was verdacht van betrokkenheid bij het bloedbad van München tijdens de Olympische Spelen van 1972 aldaar.
Het stadje is vooral nog gevuld met attributen die zijn overgebleven uit de periode van de Olympische winterspelen van 1994, zoals de skihellingarena waar de opening en sluiting plaatsvond.
Maihaugen, een openlucht museum (het grootste van Noorwegen), gelegen in het hart van Lillehammer, bevat 187 huizen uit diverse periodes
Lillehammer IK, ijshockeyclub (speelt in de hoogste league)
Faaberg Fotball Lillehammer (F.F. Lillehammer) speelt in de tweede divisie
Lillehammer Skiclub
Jaarlijkse (maart) Birkebeinerrennet finish
Lillehammer was in 1999 gastheer van het WK ijshockey.
In 2008 was Lillehammer een van de vijf speelsteden tijdens het EK handbal (mannen).
Transport
Langs de stad en het Møjsa-meer loopt de E6 snelweg vanuit het zuiden naar het noordgelegen Trondheim en Narvik.
De Noorse spoorbaan (ook wel de Dovrebanen genoemd) loopt ook langs Lillehammer, waar zich ook een station bevindt, de routes lopen zuidwaarts naar Hamar en Oslo. Noordwaarts kan men richting Trondheim en Bodø.
Televisie
De Noors-Amerikaanse televisieserie Lilyhammer ontleent zijn naam aan Lillehammer en speelt zich ook grotendeels daar af.
