Piliakalnis įrengtas atskiroje kalvoje, Žilvios kairiajame krante. Aikštelė apvali, 20 m skersmens, su kultūriniu sluoksniu. Kraštuose ji apjuosta 10 m pločio, iki 1 m aukščio pylimu, kuris galuose aukštesnis: vakarų gale – 3 m aukščio, 12 m pločio, rytų gale – 1,5 m aukščio. Šlaitai statūs, 7–12 m aukščio. Piliakalnis apardytas arimų, šiaurės rytų šlaite buvusio kelio, apaugęs medžiais ir krūmais. Jis pradėtas tvarkyti: nukirsta dalis medžių, pietrytiniame šlaite įrengti laiptai. Pietinėje papėdėje stovi 2 cementiniai karžygiai.
Legendos
Pasak legendos, iš Žilvės piliakalnio kilo karalaitė Žilvelė, o ją po to pasiėmė Perkūnas. Kita legenda pasakoja, jog piliakalnyje gyvena 70 kareivių iš buvusios tvirtovės, kurie dėl bailumo buvo užkeikti iš Šv. Jono naktį išeina ant piliakalnio pasivertę zuikiais.
Gyvenvietė
Šiaurės rytų – rytų pašlaitėse 1 ha plote yra papėdės gyvenvietė. Jos kultūriniame sluoksnyje rasta lygios, grublėtos ir žiestos keramikos.