Toto území bylo známo jako Tower Hamlets po celá staletí. Původně označovalo malé osady (hamlets) na východ od City poblíž Toweru. Jméno bylo odvozeno od středověké povinnosti dané zákonem ze 16. století, který těmto malým osadám ukládal, aby poskytovaly muže jako strážce Toweru.
Městská část vznikla v roce 1965 a zahrnuje bývalé části Bethnal Green, Poplar a Stepney, které tvořily původní East End.
Na rozdíl od ostatních částí se v Tower Hamlets nachází staré doky (Docklands), což je nejlépe renovovaná oblast Londýna, v níž leží West India Docks a Canary Wharf. V obvodu je velké množství vysokých budov, které patří v Londýně k nejvyšším. Je zde také velký zábavní komplex O2, jehož součástí je O2 Arena.
Tower Hamlets byl jedním z pěti obvodů, kde se konaly Letní olympijské hry 2012. Část obvodu patří do plánu rozvoje údolí Temže (Thames Gateway).
