Byen er bl.a. kendt, fordi forfatteren Herman Bang blev født der i 1857. Hans roman Tine foregår i Asserballe, hvor Bangs fødegård, præstegården, er scene for en stor del af romanens handling. Præstegården ligger endnu i byen og kan ses fra hovedvejen.
Af attraktioner kan opleves Asserballe Kirke, Als GoKart Center og Høgebjerg, der ligger 1 km fra Asserballe, og som med sine 81 meter er Als' højeste punkt.