Stedet nevnes første gang i skriftlige kilder i et dokument fra 1265 utstedt av Otto III av Brandenburg og senere i Karl IV's landbok. St. Andreaskirken fra 1100-tallet er byens vartegn. Da elven Bäke ble omlagt til Teltowkanalen, utviklet Teltow seg fra å være en landsby befolket av bønder til å bli et handelssted. I DDR-tiden var Teltow senter for elektronisk industri.
Byen kaller seg for Nepebyen (Rübchenstadt Teltow)[2] etter Teltownepa, en nepeart som er dyrket omkring Teltow i mer enn 300 år, og som forøvrig har en historisk tilknytning til området fra 1100-tallet.[3]
