Cohen wuchs in Los Angeles auf; gemeinsam mit seinem Bruder Danny Cohen spielte er zunächst in am Surfsound orientierten Garagenbands. In der High School begann er sich für Jazz und andere Genres zu interessieren. Er wurde zunächst durch sein Wirken in der Band von Tom Waits bekannt, in der er seit 1978 spielte (und bis in die frühen 1990er Jahre blieb). Daneben spielte er an der Westküste mit Victor Feldman, Conte Candoli, Teddy Edwards, Billy Higgins und Jack Sheldon. 1984 zog er nach New York City, wo er an zahlreichen Projekten des New Yorker Saxophonisten und Bandleaders John Zorn, wie in dessen Masada-Quartett oder den Masada Chamber Ensembles, beteiligt war; er spielte aber auch in Dave DouglasCharme of the Night Sky. Seit 1996 ist er auch mit eigenen Gruppen hervorgetreten und begab sich dabei mit präzisen Arrangements „ins Fahrwasser von Duke Ellington“ (Wolf Kampmann).
In den letzten Jahren ging er mit Ornette Coleman auf Tournee und wirkte an dessen Album Sound Grammar mit. Daneben betätigte er sich auf dem Feld des Traditional Jazz, arbeitete mit Musikern wie Ken Peplowski, Kenny Davern sowie dem Filmregisseur und Klarinettisten Woody Allen. Er war regelmäßiges Mitglied von Woody Allen and his New Orleans Jazz Band und erscheint in dem DokumentarfilmWild Man Blues unter der Regie von Barbara Kopple, der die Europatour der Band im Jahr 1996 dokumentiert. Er wirkte auch an dessen Album The Bunk Project (1993) und dem Soundtrack-Album von Wild Man Blues (1997) mit.
Im August/September 2006 war er künstlerischer Leiter des Festivals Century of Song im Rahmen der RuhrTriennale. Dabei lud er Songwriter und Künstler wie David Byrne, Holly Cole und Laurie Anderson ein.
Seit 2009 lehrt Cohen als Fachbereichsleiter Bass am Jazz-Institut Berlin. Er lebt in Berlin.
Greg Cohen wirkte im Dokumentarfilm Wild Man Blues mit, der unter der Regie von Barbara Kopple entstanden ist. Der Film zeigt Auftritte von Woody Allens New Orleans Jazz Band auf der Europatournee 1996. Die Band spielte in der Besetzung Dan Barrett (Posaune), Simon Wettenhall (Trompete), John Gill (Schlagzeug, Gesang), Greg Cohen (Bass), Cynthia Sayer (Piano), Eddy Davis (Bandleader und Banjo) und Woody Allen (Klarinette).