Ferencváros egyik legszegényebb részén nőtt fel, ahol a többi hasonló társával a labdarúgás volt az egyetlen szórakozásuk. Együtt játszott Farkas Jánossal és Sipos Ferenccel, akik később híres válogatott labdarúgók lettek. 1952-ben Verebes is a Bp. Kinizsi (FTC) igazolt labdarúgója lett. 1961-ben három mérkőzésen az élvonalban is szerepelt.
1962-ben elhagyta a Ferencvárost és egy idényt az Oroszlányi Bányászban játszott. A következő évtől ismét a fővárosba igazolt. 1964-ig a BVSC labdarúgója volt, 1965-ös és 1966-os idényben a Ganz-Mávag, 1967 és 1970 között a Budafoki MTE csapatában szerepelt. Az aktív labdarúgást a Középítők csapatában fejezte be 1971-ben.
Edzőként
Visszavonulása után először a budapesti 43. sz. Állami Építőipari Vállalat sportszervezője lett. 1978-ban a Testnevelési Főiskolán edzői oklevelet szerzett (labdarúgó szakedző). 1977 és 1978 között az MLSZ játékvezető edzője volt. 1978-1979-ben a másodosztály Kecskeméti SC vezetőedzőjeként dolgozott. Egy rövid sülysápi edzői munka után a Videoton vezetőedzője lett.
1981-ben a Rába ETO szerződtette és az itt töltött öt esztendő pályafutásának legsikeresebb időszaka. Első két idényben bajnokok, majd kétszer másodikok, végül harmadikok lettek a bajnokságban. 1982-ben 19 év után lett újra vidéki győztes a labdarúgó bajnokságban és először neki sikerült azt egyszer megvédeni is. Ebben az esztendőben az év edzője lett, Győrben pedig Pro Urbe-díjjal jutalmazták tevékenykedését.
A magyar válogatott 1987. április 27-én, Verebes József szövetségi kapitány vezetésével megérkezik a hollandiai Amszterdam-Schiphol repülőtérre, az Európa-bajnokság selejtezőjére ...
1986-ban átcsábították az akkoriban általában a kiesés ellen küzdő MTK-VM-hez. Itt is sikerült véghez vinnie a győri bravúrt és első idényében, 29 év után újra bajnoki címet szerzett a kék-fehér csapattal. E két páratlan sikerből ered edzői beceneve: Mágus. 1987-től mesteredzői címet kapott. Eközben 1987 januárjától augusztusig a magyar válogatott szövetségi kapitánya is volt. 4 mérkőzésen: 2 győzelem, 1 döntetlen és 1 vereség a mérlege. Az 1988-1989-es idényben a kék-fehérekkel bronzérmesek lettek a bajnokságban. A következő idényben úgy lettek ezüstérmesek, hogy már az utolsó előtti fordulóban is megszerezhették volna a bajnoki címet, amit végül az utolsó fordulóban az Újpesti Dózsa szerzett meg jobb gólkülönbséggel (1 góllal volt jobb!).
1992-ben Kispestre szerződött, ahol 8 mérkőzésen (6 bajnokin) irányította a csapatot és idő előtt távozni kényszerült, majd a csapat Martti Kuusela vezetésével bajnok lett. 1993 szeptembere és 1994 júniusa között is szövetségi kapitány volt tíz mérkőzésen át. Egyetlenegy győzelem mellett, két döntetlen és 7 vereség volt a mérlege. Ugyanez időben ismét Győrben dolgozott az ETO-nál, szerényebb eredményekkel, mint korábban: ötödik lett a csapat a bajnokságban. 1996 tavaszán néhány mérkőzés erejéig a Vasas edzője volt. 1998-1999-ben ismét a Videoton vezetőedzője lett.
2001-ben UEFA 'A' diplomás edzői oklevelet szerzett, majd Magyarországon az elsők között teszi le a 'Pro'-fokozatot is. 2005-ben a megyei másodosztályban szereplő Diósd szakmai igazgatója lett. 2005-2006-ban televíziós szakkommentátor. 2007-ben Újbuda-Lágymányosi TC-nél szakmai vezetőként tevékenykedett, majd a klub Váccal történő egyesülése után a Vác-Újbuda LTC vezetőedzője lett.
2007. augusztus 20-án a Magyar Köztársasági Érdemrend lovagkeresztje (polgári tagozat) kitüntetésben részesült.
2009 áprilisában a Nagytétény-Erőmű SE BLSZ I. osztályú csapatához került szakmai tanácsadóként, majd vezetőedzőként.
Halála
2015. decemberében súlyos tüdőbajt diagnosztizáltak nála, aminek következtében kórosan lefogyott, gyakran alvászavar, légszomj kínozta.[4]2016. március 13-án, otthonában hunyt el.
Emlékezete
2017. október 27-én a kőbányai Új köztemetőben síremléket avattak a tiszteletére.[5]
2021 márciusában utcát neveztek el róla Győrben.[6]
Mi az igazság? Verebes József 1988. áprilisi exkluzív interjúja Koltay Gábornak; utószó Hernádi Gyula; Szabad Tér, Bp., 1988
Hajrá, MTK? Hungária-körút. Rendhagyó tudósítás két félidőben egy rendhagyó MTK-mérkőzésről, a magyar fociról és sok másról...; tudósító Mihancsik Zsófia; Háttér, Bp., 1988 (Háttér könyvek)
Magyarázkodás helyett: diadal. Verebes első két győri éve, 1981–1983. Krónika, szemle, kommentár; szerk. Gődény Endre; szerzői, Bp., 2013