Тосканини је музичку каријеру почео најпре као челиста. Први пут је стао за диригентски пулт сасвим случајно, и том приликом самоуверено и прецизно извео ВердијевуАиду. Успех, који је том приликом постигао пратио га је током целе, седам деценија дуге, диригентске каријере. Како му је углед брзо растао, са само 31. годином доспео је на чело Миланске скале, а потом прешао у Метрополитен оперу у Њујорку. Пред Први светски рат је прешао у Њујоршку филхармонију, а због Другог светског рата у NBC симфонијски оркестар, са којим ће радити до краја каријере.
Стил
Артуро Тосканини је увек дириговао напамет и био је познат по прецизности и дисциплини извођења италијанских опера, нарочито Вердија, свог сународника и познаника. У симфонијским репертоарима сматран је ненадмашним у извођењу Бетовенових и Брамсових дела.
Остварио је велики утицај на генерације диригената које су уследиле после њега. Млади Карајан је на бициклу прелазио десетине километара, како би присуствовао наступима овог мајстора. И оно што је битно, то је да се најпре захваљујући Тосканинију (и наравно Фуртвенглеру, Карајану и Бернстајну), почео стварати мит о диригенту као магичној личности, која превазилази утицај савремених композитора и постаје предводник и носилац целокупног музичког живота.