Der Nordjemen nahm 1984 erstmals mit zwei männlichen Athleten an den Leichtathletikwettbewerben teil. Es war die erste Teilnahme eines jemenitischen Staats bei Olympischen Spielen. 1988 wurde das Teilnehmerfeld auf acht Athleten vergrößert, die jetzt auch im Judo und Ringen antraten.
1990 schloss sich die Jemenitische Arabische Republik (Nordjemen) mit der Demokratischen Volksrepublik Jemen (Südjemen) zum wiedervereinigten Jemen zusammen, 1992 lief dieser erstmals bei Olympischen Spielen auf.