Harilik õlipuu on igihaljas, madal ja jässakas. Puu on reeglina 8–15 meetri kõrgune. Hõbedase läikega rohelised lehed on piklikud, kuni 4–10 cm pikad ja 1–3 cm laiad.
Väikesed ja valged õied puhkevad eelmiseaastasel puidul. Õied moodustavad varte tipus või külgmiselt pöörisõisiku. Õlipuu on tuultolmleja.
Viljadeks on väikesed, 1–2,5 cm pikkused luuviljad ehk oliivid. Oliivid koristatakse rohelise või lillana. Viljade täielikuks valmimiseks (viljad saavutavad iseloomuliku musta värvuse) vajab õlipuu pikaajalist sooja perioodi.
Vana-Kreekas (eelkõige Atikas) osati kasutada õlipuu omadust õitseda üle aasta. Oskusliku pookimisega saavutati, et osad puud õitsesid ühel ja ülejäänud teisel aastal. Saagikaod olid niisuguse viljelemise korral väiksemad.
Oliive valmis pidevalt, seepärast ei olnud nende korjamine nii pidulik sündmus kui viinamarja koristamine.
Õlipuu tähtsuse tõttu on teda seotud paljude kultuste ja müütidega. Õlipuu oli püha, teda ei tohtinud riigi loata langetada. Ta kuulus Athena ja Zeusi (Minerva ja Jupiteri) erilise kaitse alla ning oli pühendatud Apollonile ja Heraklesele. Õlipuuoksad sümboliseerisid rahu, spordivõitu (olümpiamängudel), rõõmu ja elu.