Berget, som en gång bildats av korallrev, består av revkalksten. Is och vatten har under tusentals år format berget och skapat grottor – några mer än 10 meter djupa. Bergets högsta del, som når drygt 42 meter över havet, ligger strax innanför Mattsarveklint i nordväst.[3] Från klintkrönet har man en storslagen utsikt. Platån uppe på berget domineras av öppna hällmarker omväxlande med gles och lågvuxen tallskog. Här ligger också den cirka 14 hektar stora Gannemyr.[3] Jordlagret är tunt och växtligheten, till exempel gul fetknopp och backtimjan, sparsam. I den sydvästligaste delen av reservatet består jordtäcket delvis av sand, och barrskogen är här tätare och har dessutom ett påtagligt inslag av gran.[3]
Bergplatån avgränsas av branta stup mot väster, norr och öster, men söderut sluttar berget bara svagt. Nedanför branterna ligger ofta rasmassor bestående av block och stenar som vittrat loss från bergets sidor. I de norra och östra rasbranterna växer en askdomineradlövskog med inslag av tall.[3] På den steniga marken trivs också stinknäva, grusslok och den sällsynta ormbunkenkalkbräken.
Det finns flera tydliga spår efter kalkbrytning på Östergarnsberget. Just där vägen mot Katthammarsvik utgår från vägen mot Östergarns kyrka finns en restaurerad kalkugnsruin som är 15 meter i diameter vid basen och 8 meter hög.[4] Strax intill ligger den så kallade ”Flyktingkällan”, ett minnesmärke över de letter som under andra världskrigets slutskede flydde till Gotland.[5] Sydost om kalkugnsruinen och utmed vägen som leder upp på berget ligger ett stort stenbrott vid Gutenviksklint. Kalkugnsruiner finns också vid Kaupungskling i sydöst[6] och Grönskogshuvud i sydväst.[7]
