Karierę rozpoczął od gry na fortepianie w małych lokalach i nocnych klubach.
Pod koniec lat 50. wypromował João Gilberto, wraz z nim tworząc nowy styl w brazylijskiej muzyce, bossa novę. W roku 1959 Tom Jobim razem z Luizem Bonfá skomponował muzykę do filmu Orfeu Negro, w tym jeden z bardziej znanych standardów gatunku A Felicidade. Wydana w roku 1959 płyta João Gilberto Chega de Saudade osiągnęła zaskakujący komercyjny sukces i na stałe weszła do kanonu nowego stylu.
Wkrótce bossa nova, z początku modna tylko w Brazylii, zyskała popularność w Stanach Zjednoczonych, głównie dzięki kompozycjom Jobima w wykonaniu Stana Getza i Charlie Byrda. Nowy styl, a wraz z nim sława Jobima, rozprzestrzenił się w obu Amerykach, czego dowodem były nagrania i koncerty brazylijskiego kompozytora z ówczesnymi jazzmanami, m.in. Dizzym Gillespiem.