Tanzania participou por vez primeira nos Xogos Olímpicos en 1964, e dende entón competiu en cada edición dos Xogos Olímpicos de Verán, agás en 1976, cando se uniu a un boicot xunto con outros países africanos pola participación de Nova Zelandia (que daquela mantiña relacións coa Suráfrica do apartheid). O país nunca participou nos Xogos Olímpicos de Inverno.
Os deportistas tanzanianos gañaron un total de dúas medallas, ámbalas dúas en atletismo.
O Comité Olímpico Nacional de Tanzania foi creado en 1968 e foi recoñecido polo Comité Olímpico Internacional ese mesmo ano.