Frank Wess a klasszikus zenét tanult. Fuvola szakon diplomázott a Modern School Of Musicon. Oklahomában kezdte a profi zenészpályát. Áttért a dzsesszre, amikor Washingtonba költözött. Tizenkilencévesen Count Basie Orchestra-ba került. Karrierje a második világháború alatt megszakadt, bár akkoriban egy katonazenekarral játszott. Utána Billy Eckstine zenekarához csatlakozott.
1953-ban ismét csatlakozott Count Basie zenekarához, ahol furvolán és tenorszaxofonon játszott. Az 50-es évek végén tért vissza az altszaxofonhoz, és 1964-ben elhagyta Basie zenekarát.