Tansania, dessen NOK, das Tanzania Olympic Committee, 1968 gegründet und im gleichen Jahr vom IOC anerkannt wurde, nahm erstmals 1964 an Olympischen Sommerspielen teil. 1976 schloss sich Tansania dem Boykottaufruf für die Spiele in Montreal an. Zu Winterspielen wurden bislang keine Athleten geschickt.
Das Finale über 5000 m 1980 in Moskau mit den drei Medaillengewinnern in Front: Nyambui (649) gewann Silber, Yifter (191) wurde Olympiasieger, Maaninka (208) gewann Bronze
Vier Leichtathleten bildeten die erste tansanische Olympiamannschaft 1964 in Tokio. Die ersten Olympioniken waren am 14. Oktober 1964 der 800-Meter-Läufer Hassan Dyamwale und der 10.000-Meter-Läufer Pascal Mfyomi. 1968 in Mexiko-Stadt nahm erstmals ein tansanischer Boxer teil. Tansania folgte dem Boykottaufruf afrikanischer Länder und blieb den Spielen von Montreal 1976 fern.
In Moskau 1980 wurde mit 41 Teilnehmern die bislang größte tansanische Olympiamannschaft entsandt. Erstmals nahm eine tansanische Hockeynationalmannschaft am olympischen Turnier teil. Außerdem wurden zum ersten Mal tansanische Frauen zu Olympischen Spielen geschickt. Die ersten Olympionikinnen waren am 24. Juli 1980 die beiden 800-Meter-Läuferinnen Mwinga Mwanjala und Lilian Nyiti. In Moskau konnte Tansania den Gewinn der ersten olympischen Medaillen feiern. Erster Medaillengewinner war Filbert Bayi, der Silber über 3000 Meter Hindernis gewann. Wenig später gewann Suleiman Nyambui Silber im 5000-Meter-Lauf.
Ein sechster Platz im Marathonlauf der Männer durch Juma Ikangaa war das beste Ergebnis Tansanias 1984 in Los Angeles. 1988 in Seoul erreichte Ikangaa das Ziel als Siebter. In Barcelona 1992 konnte sich Andrew Sambu für das Finale über 5000 Meter qualifizieren, dort belegte er Rang 10. Marko Hhawu sorgte 1996 in Atlanta mit Platz 12 im Finalrennen über 10.000 Meter für das einzige Topergebnis.
2000 in Sydney und 2004 in Athen kamen nur Leichtathleten zum Einsatz. In Athen wurde Fabiano Joseph Zehnter im Finale über 10.000 Meter. In Peking 2008 traten erstmals tansanische Schwimmer an. Joseph wurde Neunter im 10.000-Meter-Lauf, der diesmal in einer Runde durchgeführt wurde.
Nach einer erfolglosen Teilnahme in London 2012 konnte sich in Rio de Janeiro 2016 Alphonce Felix Simbu mit Platz 5 im Marathon auszeichnen. Erstmals trat ein tansanischer Judoka an.
