Jose era un coetaneo e collega di Akiba, di Tarfon e di Eleazar ben Azariah. Non si conosce il nome del padre né la biografia della sua giovinezza, sebbene il suo cognome ("ha-Gelili") indichi che fosse originario della Galilea. Soffrì quindi di quei pregiudizi comunemente mantenuti dai giudei contro i galilei; una volta una donna che discuteva animatamente con lui, cominciò a chiamarlo "galileo stupido".[1] Quando entrò all'accademia di Yavne, era del tutto sconosciuto. Si dice anche che fosse estremamente modesto e chiamasse Tarfon "mio maestro".[2] Fu tuttavia un profondo studioso sin da allora, e le sue argomentazioni meravigliavano sia Tarfon che Akiva. Quando arrivò per la prima volta a Yavne, ottenne apprezzamento generale, e i due rabbini lo considerarono non uno studente, ma un collega. Akiva ebbe a sopportare più di un rimbrotto da parte di Jose, che una volta gli disse: "Anche se ti dovessi esporre tutto il giorno, io non ti ascolterò".[3] Tarfon espresse grande stima di Jose, interpretando un passo del Libro di Daniele 7:4-7[4] come se si riferisse a lui: "Vidi l'ariete, cioè Akiva, e nessuna bestia poteva confrontarlo; e vidi arrivare il capro, cioè Jose il Galileo, che lo stese al suolo."[5] Infatti, Jose fu l'unico che ebbe successo nell'opporre Akiba nei dibattiti, e spesso quest'ultimo tralasciava frequentemente le proprie interpretazioni per seguire quelle di Jose.[6] Spesso Jose prediligeva riferirsi alla Halakhah più antica, spiegandone il testo secondo il suo significato letterale.[7]
Generalmente comunque le sue esegesi halakhiche differivano poco da quelle di Rabbi Akiva ed entrambi spesso usavano le stesse regole interpretative[8] Insegnava che il pollame poteva esser cotto nel latte e mangiato,[9] come si usava nella sua città natia;[10] inoltre spiegava anche che, durante la Pesach si poteva godere di qualunque cosa lievitata, ma non consumarla.[11] Delle sue opinioni aggadiche, se ne possono citare due: il comando della Torah che il "volto dell'anziano" deve essere onorato[12] sottintende anche il giovane che ha acquisito saggezza[13] Le parole "Egli dominerà su di te"[14] non si riferisce al potere di qualsiasi genere, senza distinzione.[15]
La vita coniugale di Jose fu infelice. Sua moglie era maliziosa e rissosa, e spesso lo insultava davanti ai suoi allievi e amici; su consiglio di questi ultimi se ne divorziò. Quando lei si risposò e si trovòa in ristrettezze economiche, fu abbastanza magnanimo da mantenere lei e suo marito.[16] Jose ebbe un figlio, Eliezer, che seguì le orme del padre e diventò una grande autorità rabbinica.
Jose fu famoso, inoltre, per la sua pietà. Un Amora del III secolo scrisse: "Quando, per i loro peccati, c'è siccità in Israele, e uno come Jose il Galileo prega affinché venga la pioggia, la pioggia viene subito".[17] L'invocazione popolare "O Jose ha-Gelili, guariscimi!" sopravvisse fino al X secolo. Questa invocazione è condannata dal filosofo caraita Sahal ben Matzliah.[18]