El club va néixer l'any 1911,[3] segon club de futbol fundat a Palestina. Al voltant de 1925 el club es va desfer i refundar per la fusió de dos clubs locals, el HaGibor i el HaZvi naixent el Hashmonai Jerusalem,[4] esdevenint posteriorment Maccabi Hashmonai Jerusalem. El 1928 participà en la copa palestina, en la que arribà a la final. El partit acabà 2-0 a favor del Hapoel Tel Aviv però el club apel·là per haver jugat el Hapoel amb un jugador no reglamentari. L'apel·lació fou acceptada i la copa fou compartida per ambdós clubs.[5]
Després de l'establement de l'estat d'Israel, el club retornà al nom Maccabi Jerusalem. Acabada la temporada 1962-63 el club tornà a desfer-se, fins a l'any 1970, en que tornà a renéixer,[6] incorporant-se novament a la lliga israeliana.[7] A meitat dels noranta es fusionà amb Maccabi Ma'ale Adumim esdevenint Maccabi Jerusalem/Ma'ale Adumim.[8] Maccabi Jerusalem/Ma'ale Adumim es va desfer a finals de la temporada 2004-05.[8]