John Pisano wuchs in New York City auf und zog dann an die Westküste, wo er zunächst in der Crew Chiefs Air Force Band (1952–55) und danach von 1956 bis 1958 in der Band von Chico Hamilton spielte. Mit dieser Gruppe wirkte er in dem Film über das Newport Jazz FestivalJazz On A Summer’s Day mit. Danach arbeitete er mit Matt Dennis, Buddy DeFranco und Jimmy Giuffre, nahm aber auch zwei Alben mit seinem Gitarrenkollegen Billy Bean und einer größeren Besetzung auf. 1958 wurde er Mitglied des Paul-Horn-Quartetts. Von 1965 bis 1970 und noch einmal 1974/75 spielte er in Herb AlpertsTijuana Brass, wo er mehrere eigene Kompositionen beisteuerte, darunter So What's New? (1966). Er leitete auch eigene Formationen und bildete in den 1980er-Jahren ein Duo mit dem Gitarristen Billy Bean, mit dem er für Decca Records aufnahm. Er arbeitete mehrere Jahre mit Joe Pass zusammen, mit dem er unter anderem ein Duoalbum einspielte. In den 1990er-Jahren entstanden zwei eigene Alben für das Jazzlabel Pablo Records. Im Jahr 2000 begleitete er die Sängerin Diana Krall auf ihrem Album The Look Of Love. Außerdem spielte er im Laufe seiner Karriere mit Burt Bacharach, Tony Bennett, Herb Alpert, Natalie Cole, Leroy Vinnegar, Bill Perkins, Peggy Lee, Fred Katz, Frank Sinatra und Barbra Streisand. Mit seiner Frau, der Sängerin Jeanne Pisano, bildete er das Duo Flying Pisanos.