Játékoskarrierjéről keveset tudni, egy biztos ezzel kapcsolatban: egy súlyos sérülés miatt idejekorán fel kellett hagynia a futballal.
Édesanyja küldte őt az Egyesült Államokba, hogy a nagybátyjánál lakjon. Először szerelőként kezdett dolgozni, első csapata a munkahelyén, az Altoona Worksnél összeverbuvált játékosokból állt. Egy alkalommal a gyár barátságos meccset játszott a Penn State egyetemmel, és mivel meg voltak elégedve azzal, amit Jeffreytől láttak, felajánlottak neki egy szerződést az egyetem csapatánál, a Nittany Lionsnál. Ezt követően ő volt a csapat trénere egészen 1952-ig, ezalatt szerzett tíz egyetemi bajnoki címet a csapattal, valamint felállított egy hatvanöt meccses győzelmi szériát 1932 és 1941 között.[1] 1972-ben a csapat stadionját Jeffrey után nevezték el.[2]
Alig két héttel az 1950-es világbajnokság előtt az amerikai válogatott szövetségi kapitány nélkül maradt, ugyanis a magyar Schwarz Ernő lemondott posztjáról. Helyettesítésére Jeffrey-t kérték fel, aki, bár rövid ideje volt felkészíteni a csapatot, nem vallott szégyent, sőt az angolok ellen történelmi, 1–0-s győzelmet arattak az amerikaiak, a történelem egyik legmegdöbbentőbb eredményét produkálva.[3]