Piliakalnis apjuostas daubų. Šlaitai statūs, 13–20 m aukščio. Aikštelė ovali, apie 70 x 35 m dydžio, jos šiaurės vakarų dalis suardyta - iškastos vandentiekio rezervuaro duobės. Piliakalnio pietinėje papėdėje yra senovės gyvenvietės liekanų. Piliakalnis apaugęs medžiais ir krūmais. Iš šiaurės pusės griovys jungia piliakalnį su gretima aukštuma. Piliakalnis ir aukštuma sujungti laiptais.
Birštono piliakalnis nuo seno apipintas legendomis ir padavimais. Sakoma, kad čia po medžioklių ilsėdavęsis Lietuvos didysis kunigaikštis Vytautas.[2]XIV a. pabaigoje ir vėliau piliakalnyje stūksojo tvirta, sunkiai paimama medinė Birštono pilis (pasak Burgundijos diplomato Žilibero de Lanua, 1414 m. nedidelė pilies pastatų dalis buvo plytų mūro), galbūt vienaamžė su pirmąja Punios pilimi. Ją supo gilios, šaltiniuotos raguvos, pelkė, gilus griovys, pylimas ir įtvirtinta papilio gyvenvietė. Pilyje veikė Ldk medžioklės dvaras; XIX a. buvusi Birštono pilies vieta vietos žmonių vadinta Užkeiktu dvaru.
Vytauto laikais Birštonas buvo strategiškai svarbi LDK vietovė. Medinė pilis ne kartą pulta kryžiuočių. XIV–XVI a. pilyje apsistodavo didieji kunigaikščiai ir didikai, atvykdavę į šiose vietose rengtas medžiokles; kartais pilis tapdavo prieglobsčiu nuo priešo kariuomenės besislepiantiems apylinkių gyventojams. 1473 m. Birštono pilyje nuo šalyje siautusio maro su šeima slėpėsi Ldk Kazimieras Jogailaitis. Pilis netekusi gynybinės reikšmės ir nunykusi XV–XVI a..