1906 m. grįžo į Lietuvą ir nuo 1911 m. dėstė Kauno kunigų seminarijoje lotynų kalbą, teologijos propedeutiką, sociologiją ir filosofiją. 1914 m. paskirtas seminarijos vicerektoriumi. 1918 m. Žemaičių vyskupijos kapitulos kanauninkas, 1919 m. vyskupijos tribunolo teisingumo gynėjas, 1921 m. vyskupijos socialinės akcijos sekretorius, 1922 m. bažnyčios turtų valdymo tarybos narys.
Vyskupas Paltarokas buvo pirmasis iš vyskupų, kuris tuoj, pirmąją savaitę vokiečiams į Panevėžį įžengus, pasmerkė žydų žudynes. Vyskupas Paltarokas jau pirmąjį sekmadienį iš Panevėžio katedros paskelbė ekskomuniką, per pamokslą ekskomunikuodamas tuos, kurie žydus žudo. Vysk. K. Paltarokas specialiai apsilankė pas vokiečių komendantą Panevėžyje, pasmerkdamas žydų žudymą.[1]
Ši vyskupo Paltaroko ekskomunika buvo paminėta „Lietuvių aktyvistų fronto sukilimo ir Lietuvos laikinosios vyriausybės atstovų pareiškime“ 1986 m. rugsėjo 28 d. Čikagoje.[2] Vokietijos Vermachtas įžengė į Panevėžį birželio 27 d.[3] Visgi, Panevėžyje pirmąsias tris su puse savaites vokiečių okupacijos mėnesį žydai nebuvo šaudomi, nes žydų getas įsteigtas liepos 11 d.,[4] o sovietiniai kolaborantai ir žydai Panevėžyje šaudyti liepos 21-22, 28 d. bei rugpjūčio 4, 11 ir 23 dienomis remiantis Jėgerio ataskaita.
Paminklinė lenta Šeduvos bažnyčioje
1949–1957 m. Vilniaus arkivyskupijos apaštalinis administratorius. Palaidotas Panevėžio Kristaus Karaliaus katedros kriptoje.