Banken ble etablert med Bank of Tanzania Act i 1965. I 1995 bestemte imidlertid regjeringa at banken hadde for mange ansvarsområder, og at dette hindra den i å gjøre en god jobb. Som et resultat kom Bank of Tanzania Act 1995, som ga banken én oppgave, nemlig å styre landets pengepolitikk.
Banken styres av et styre på ti personer, hvorav fire av styremedlemmenes verv følger med andre verv de har. Styrelederen er guvernøren av banken, og denne assisteres av tre viseguvernører innen administrasjon; økonomisk og finansiell politikk; og finansiell stabilitet.