Han begynte først å prøve seg som pianist, men ble som 18-åring i 1897 kapellmester i Bremerhaven, i 1899 i Hamburg og senere ved Apolloteateret i Berlin. Fra 1910 var han utelukkende virkende som tonesetter.
Jean Gilbert komponerte mer enn femti operetter i tida før og etter første verdenskrig. Han arbeidet hovedsakelig i Berlin. Hans mest spilte komposisjoner er Die keusche Susanne (1910), Polnische Wirtschaft (1910), Die Kino-Königin (1911), Frau im Hermelin (1918), Katja (1922) og Das Weib im Purpur (1923).
Gilbert var jøde, og i 1933 forlot han hjemlandet. Først flyttet han til Madrid, og så via Paris i 1939 til Argentina. Der ledet han orkesteret tilknyttet kringkastingsselskapet LR 1 Radio El Mundo.
Han sønn Robert Gilbert var også komponist, og forfatter av sangtekster som til (Im weißen Rößl). Han ble også kjent som tysk oversetter og tekstbearbeider (blant annet av musikalene Can-Can, My Fair Lady, Hallo, Dolly! og Cabaret). En annen sønn var barne- og ungdomsbokforfatteren Henry Winterfeld.
I Hamburg-Altona er det en gate oppkalt etter ham; Gilbertstraße, som før 1948 het Gustavstraße.
