Клуб је основан 1925. и био је један од оснивача Пливачког савеза Грчке. Боје клуба су црвена и бела.
Са 38 титуле у националном првенству и 25 трофеја Купа Грчке најнаграђиванији је грчки ватерполо клуб, испред свог највећег ривала из Пиреја, Етникоса (који има 38 титула и 12 купова). Олимпијакос је ипак најуспешнији грчки клуб у европским такмичењима, јер је 2002. освојио Лигу шампиона, победивши у финалу са 9:7 мађарски Хонвед, након што је у финалу претходне године поражен. Затим је исте године освојио и Суперкуп Европе (6:5 против Вашаша), а поред тога је 1998. и 1999. играо финале Купа победника купова. Такође, у 2016. је играо у финалу Лиге шампиона, а 2018. освојио га је други пут победивши Про Реко у финалу са 9-7.
Једини је грчки ватерполо клуб који је у једној сезони освојио национално првенство, национални куп, Лигу шампиона и Суперкуп Европе, а то је Олимпијакос остварио у сезони 2001/02. Од 1988. постоји и женски ватерполо клуб Олимпијакос.