O Iemen competiu por vez primeira nos Xogos Olímpicos en 1992, e dende entón participou en cada edición dos Xogos de Verán. Antes da unificación iemení en 1990, os deportistas iemenís competiron nos Xogos de 1984 representando a Iemen do Norte, e nos Xogos de 1988 como Iemen do Norte ou Iemen do Sur. O Iemen non conseguiu gañar ningunha medalla olímpica.
O Comité Olímpico do Iemen foi creado en 1971 e recoñecido polo Comité Olímpico Internacional en 1981.