Ensimmäinen maininta Aspergista on elsassilaisen Weißenburgin luostarin asiakirjoissa vuodelta 819. Jo tätä ennen alueella on kuitenkin ollut kelttiläistä ja alemannilaista asutusta, ja läheinen 356 metriä korkea Hohenaspergin vuori on toiminut esihistoriallisella ajalla linnavuorena. Alueella sijaitsee kelttiläinen hautakumpu 400-luvulta eKr., ja sieltä löydettyjä esineitä ovat tähän mennessä ainoa Alppien pohjoispuolelta löydetty sfinksi, kelttiläinen nokkakannu ja kultainen juomasarvi. Frankit saapuivat alueelle 500-luvulla jKr. ja työnsivät keltit tieltään kohti etelää.[4]
1300-luvulla Hohenaspergin vuorelle alkoi muodostua Weihenbergin kylä. Vuosisadan lopulla vuorelle oli kehittynyt pieni kaupunki, jonka nimi esiintyy kirjallisissa lähteissä ensimmäisen kerran vuonna 1304. Vuonna 1534 kaupunki siirrettiin vuorelta Weihenbergiin, jonka nimeksi tuli nyt Unterasperg. Kaupunki on kokenut historiansa aikana useita tuhoisia sotia, joista ensimmäisiä oli Hohenaspergin linnoituksen piiritys vuonna 1519. Lähes koko kaupunki tuhoutui kolmikymmenvuotisen sodan aikana, kun Hohenaspergia piiritettiin elokuusta 1634 heinäkuun loppuun 1635. Lisäksi kaupunki paloi hieman ennen sodan loppumista.[4]
Vuonna 1714 aloitettiin uuden Ludwigsburgin kaupungin rakentaminen, minkä seurauksena Asperg menetti kaupunginoikeutensa. 1800-luvulla paikkakunta alkoi nopeasti kehittyä maaseutuasutuksesta kaupungiksi. Asperg yhdistettiin rautatieverkkoon vuonna 1847 ja sen kaupunginoikeudet palautettiin vuonna 1875. Toisen maailmansodan jälkeen kaupungin väkiluku kasvoi voimakkaasti: kun se vielä sodan päättyessä oli ollut noin 4 700, vuonna 1970 kaupungissa oli jo vajaat 13 000 asukasta. Asperg juhli 1200-vuotista historiaansa vuonna 2019.[4]
