Zambia participou por vez primeira nos Xogos Olímpicos baixo o seu nome actual en 1968, e dende entón competiu en cada edición dos Xogos Olímpicos de Verán, agás en 1976. Anteriormente, competiu como Rodesia do Norte en 1964 e baixo a bandeira de Rodesia en 1960. Zambia nunca enviou deportistas para competir nos Xogos Olímpicos de Inverno.
Os deportistas zambianos gañaron tres medallas olímpicas. O boxeador Keith Mwila gañou a primeira medalla do país, un bronce en boxeo, na categoría de -48kg nos Xogos Olímpicos de 1984, e doce anos despois, Samuel Matete conseguiu a medalla de prata na proba de 400 metros valados masculino.
O Comité Olímpico Nacional de Zambia foi creado en 1951 e recoñecido oficialmente polo Comité Olímpico Internacional en 1963.