Pastor speelde sax bij de Wesleyan Serenaders, John Cavallaro (1927), Irving Aaronson (1928-1930) en Austin Wylie. In 1931 begon hij zijn eigen orkest, een avontuur dat drie jaar duurde. Daarna speelde hij kort met Smith Ballew, Joe Venuti en Vincent Lopez. In 1936 ging hij werken bij Artie Shaw. Hij speelde hier sax en zong en was een van Shaw's sterren. In 1939 stopte Shaw ermee en vroeg Pastor het orkest over te nemen. Pastor begon echter een eigen band die veel succes had, met novelty-nummers en swing. Hij zong en speelde sax, de arrangementen waren modern. Vocalisten die bij zijn groep zongen waren onder meer Rosemary en Betty Clooney, Johnny McAfee, Dorsey Anderson, Eugenie Baird en Dolores Martel. Met het orkest speelde hij tot eind jaren vijftig. Daarna richtte hij een kleine groep op, waarin zijn zonen speelden. Het combo was voornamelijk actief in Las Vegas. Eind jaren zestig werd Pastor ziek en stopte hij ermee.
Discografie
Dance Parade,
Your Dance Date With Tony Pastor, Columbia, 1950 (met 'Dance Parade' in 2002 op cd heruitgebracht op Collectables)
Radio Days (radio-opnames, met Les Paul & Mary Ford), Canby