Namnet kommer antagligen av att floden Såna, som kommer från Såner till Son kallas Hølenselva, rinner ut i en sjö mitt i centrum. Ett äldre ord för en plats där det finns en bredare och djupare plats i en flod är hål (norska: høl). Lokalt kallas denna plats i staden för Kulpa.
Historia
Det har hittats fynd från äldre stenåldern i Hølensområdet, men det var först efter medeltidens slut som tätorten uppstod. På 1500-talet, ett exakt årtal är inte känt, blev Hølen handelsstad med egna tullrättigheter. Handelsvarorna var ofta timmer som fick flyta ner via Såna till Son, där den blev lastad ombord på båtar. I en längre period var det också möjligt för nederländska fartyg att segla upp längs floden för att lasta timmer direkt från Hølen, som ser ut som att vara det enda stället så långt in i landet. Rester av flera timmerbruk finns längs floden. Det fanns år 1688 hela åtta vattendrivna sågverk i Hølen, och sju av dem var i drift så sent som år 1836. Under denna tid hängde Hølen och Son ihop med varandra, mestadelen av timret som blev utskeppat från sågarna i Hølen och Son fungerade som hamn och lastplats. Under de senare åren har den omkring 3 kilometer långa stigen längs älven blivit upprustad för att användas för cykel- och hästtrafik.
År 1837 kom förmanskapslagen, som gjorde att man kunde välja om Hølen skulle räknas med i Vestby landskommun, eller fortsätta vara en egen enhet. De båda städerna Hølen och Son bildade då en gemensam stadskommun, Son og Hølens kommun. Den 27 augusti1847 blev det vid en kunglig resolution bestämt att Hølen skulle vara en egen stadskommun, och detta trädde i kraft den 1 januari1848. Staden omfattade omkring 300 invånare. Det har ofta sagts att Hølen var Norges minsta stad, men det är inte sant, både Hvitsten och Lillesand med 56 respektive 99 invånare var mindre. Men som stadskommun var Hølen minst; vid folkräkningen år 1876 hade Hølen totalt 266 invånare mot 427 i Stathelle som var näst minst, och år 1910 hade Hølen bara 171 mot Åsgårdstrands 370.
Under denna tid var staden välmående och hade flera handelsbodar bland annat åtta sågverk, sju detaljhandlar, en brännvinshandel, två skräddare, fyra skomakare, tre smeder, tre begravningsentreprenörer och liknande.
Flera stenbroar på slätten mellan Hølen och Såner har gjort att Hølen är känd som "platsen med broarna". Bommen bru från 1850 vilar på timmerflottar, eftersom det inte är fast berg där den ligger. Den blev år 1930 förstärkt med betong för att tåla modernare trafik. Rafsal bru är från 1848. Den är konstruerad på samma sätt som Bommen men är inte förstärkt eftersom den är kraftig nog att hålla för tung trafik.
Den mest synliga bron i själva Hølen, järnvägsviadukten från 1879, används inte idag, och det pågår en debatt om dess framtid. En del menar att den bör tas bort eftersom den stänger ljuset från centrum, utgör en fara för nyfikna barn och bara förfaller mer och mer, medan andra menar att det är en del av Hølen särprägling och önskar att få den omgjord till en del av cykelvägen mellan Moss och Oslo.
Den nya järnvägsviadukten är placerad längre ner i Hølendalen, utanför själva orten. Den är 416 meter lång och därmed Norge längsta järnvägsbro i betong. Höjden är omkring 50 meter som högst. Den stod färdig år 1996 och fick året efter NSBs pris för ingenjörskonst och byggskick. Motorvägen öppnades den 25 juni1998.
Kultur
Hølens idrottsklubb (HIK) grundades år 1915, och sysslar med både vinter- och sommarsporter. Klubben arrangerar varje år "HIK-dagen", som samlar den mesta av Hølens befolkning till aktiviteter i centrum och på skolan. Det finns två fotbollsplaner, en grusplan vid skolan och en gräsbana med klubbhus på Brandstad norr om själva Hølen. Parkeringsplatsen vid klubbhuset spolas på vintern för att användas som skridskobana.
Hølenkören har sedan den grundades år 1990 varit en central aktör i kulturlivet.