I seilskutetiden på 1600- og 1700-tallet ble skuter klargjort og tømt for jord (ballast) på Stavernsøya.
Etter 1860 ble det anlagt moloer fra Stavernsøya til Citadelløya og til Torkildsøya. De ble også anvendt av tyskerne under den andre verdenskrig.
Festningshavna i nord var for eksempel basehavn for Peter Wessel Tordenskjold. En trolig forhenværende begravelsesplass eksisterer også på øya. Den er beliggende på sletta på nordsiden av Torkildsøya. Mellom den og Citadelløya ligger ei bukt som bærer navnet «Kjærgårdsbukta» etter at øya ble brukt som gravplass Det heter seg slik at Tordenskjold begravde falne der. En stor bautastein ble oppført på stedet i 1980 til 200-årsjubileet for hans fødsel.
Kikkut
Kikkut er toppen av den store kollen. Der har det eksistert såvel blokkhus, vakttårn som utsiktssted i århundrer.
Dyrelivet på Stavernsøya er fattig, mest på grunn av det lille arealet, og fordi det er så mange mennesker der ofte. Men det lever blant annet fasaner der, frosk, salamander, mus, vånd, mink, gjøk, måke, biller, snegler og andre virvelløse dyr. Det hender at det kommer hubro inn til øya. Det har hendt at elg og rådyr har svømt over, men har svømt tilbake til fastlandet. Hvert år blir det satt ut villsau for å holde nedgroingen der i sjakk, men når sommeren er over blir de hentet inn. Øya er lite dekket av skog, mest på grunn av øya er av granitt, men øya er også dekket av store sletter.
