Halperin har siden 1970-tallet vært engasjert i musikken til Lennie Tristano, og han hadde tidlig leksjoner med Tristano selv og Sal Mosca. De første innspillingene i 1986 gjorde han som Halperin i Warne Marsh kvintetten (Back Home på CrissCross). Siden 1982 har Halperin jobbet med bassist Dominic Duval og de første felles opptakene ble gjort først i 2003.
I 1997 gav Halperin ut sitt debyalbum under eget navn på plateselskapet Zinnia: en Tristano dedikert duett med Sal Mosca (Psalm). I 1998 var han medlem av Thomas Andersen quintet (NorCD), i 2001, tok han i en Trio med bassist Don Messina og trommeslager Bill Chattin for Cadence Jazz Records. På denne tiden jobbet han også i CIMP som session musiker med Duval og Jay Rosen.
I 2003 ble resultatet av et tettere samarbeid i CIMP utgitt på albumet Joy and Gravitas, med tolkninger av Jazz-Standarder, for eksempel A Night in Tunisia, Love for Sale, My Funny Valentine, Don't Explain, Naima og 'Round Midnight, etterfulgt av Duo-Album Monkinus av Halperin og Duval på plateselskapet CIMP. I 2009 gjorde Halperin og Duval musikk av Thelonious Monk med albumet Monk Dreams, som kom ut på det litauisk plateselskapet NoBusiness Records. I juni 2009 spilte de på Jazzfest Villach.
Halperin har også jobbet med pianist Andreas Schmidt, Alex Hagen Stringproject og i Duo med gitarist Joe Giglio.
Diskografi
Jimmy Halperin/Sal Mosca: Psalm (Zinnia Records, 1997)
Halperin/Messina/Arbeid: Cycle Logical (Cadenc Jazz Records, 2001)
Halperin/Duval/Rosen: Joy and Gravitas (COIMP, 2003)