Veszprémben és Pápán tanult. A teológia elvégzése után két évig tanító volt Pátkán, azután segédlelkészi állást kapott Városhidvégen (1805–1808) Kállai András prédikátor mellett. A lelkész nevelt leánya, Fanni volt ideálja, akihez több verset írt.
A latinon kívül németül, olaszul, franciául értett és olvasott. Versei rímelésével nagy népszerűségre tett szert, ezért „rímkovácsnak” nevezték el. Költeményei közül néhány megjelent a Kurirban, többségük azonban kéziratban terjedt. Ásvai Jókai József (Jókai Mór apja) is nagy bámulója volt; talán családja körében is többször beszélt róla, így kerülhetett a különcködéseiről is híres költő alakja Jókai Mór több regényébe. 1808-ban társaival együtt ittasan botrányt okozott egy templomban, ezért Kaposváron börtönbe került, ahol 1809. februárban meghalt.
Rendkívül népszerű volt, mesterkélt verselése ellenére a kortárs epigonok közül kiemelkedett rímfaragó tehetségével. Pintér Jenő a kor nagy költői: Csokonai Vitéz Mihály és Kisfaludy Sándor utánzói közé sorolja. „A költő a rokokó lírikusok díszítő fogásaival zengedezett ideálja szépségeiről, a kecseskedő stílus szellemében cicomázta strófáit.”
Költői hagyatékát Ferdős Dávidgyönki református tanár szedte össze és adta ki: Kováts József versei (Pest, 1817; második kiadása: Kolozsvár, 1835).
Kéziratban maradt költeményei közül többet kiadott Abafi Lajos a Figyelőben; a Magyar Nemzeti Múzeum (az Országos Széchényi Könyvtár?) kézirattárában vannak: Tünődés című hosszabb költeménye, Keserv Csokonai Vitéz Mihály halálára, hosszabb óda; és ásvai Jókai József füzetében 80 darab költemény.
Pintér Jenő: A magyar irodalom története: tudományos rendszerezés Budapest, 1930–1941; 5. kötet: A költészet / Magyaros költők c. alfejezet (CD-ROM: Arcanum Kiadó)
