1844. augusztus 22-én rozsnyói megyés püspökké nevezték ki. 1845. június 4-én foglalta el hivatalát. 1845-ben kijavíttatta a püspöki hivatal tűz által szerzett sérüléseit. Jelen volt az 1847–1848. évi országgyűlésen. 1848. szeptember 7-én leégett a szeminárium, hamarosan megújította. Támogatta a putnoki iskolát, anyagilag támogatta a tehetséges diákokat, árváknak iskolákat alapított és támogatta a rozsnyói szegényház létrejöttét.
Dictio qua vener. clero vicarialis districtus Tirnaviensis die 27. martii 1845. Tirnaviae supremum sibi valedicenti respondit. Tirnaviae, (1845.)
Egyházi beszéd, melyet püspöki székbe igtatása ünnepélyén a rozsnyói székesegyházban tartott. (Rozsnyó). 1845.
Főpásztori levelek és szent beszédek. Eger, 1865.
Brevis notitia historica archi-episcopatus Agriensis… (Egészen új átdolgozása a Brevis. notitia historica-nak, melyet Cselkó Károly apátfalvi plébános írt, s mely 1832-től az egri egyházmegyei névkönyvekben időnként kinyomatott.)
Nagy összegekkel segítette a Magyar Tudományos Akadémiát, a Szent István Társulatot, az Erdélyi Nemzeti Múzeumot. Több irodalmi művet adott ki saját költségén; így a többi közt Szabó István Homérosz-fordítását és Heves- és Külső-Szolnok vármegyéknek leírását 1868-ban; ebben Marastoni által kőre rajzolt arcképe is megjelent. A Szentírás Káldi György-féle magyar fordításának új átdolgozásával Tárkányi Bélát, az MTA levelező tagját bízta meg, és a munka az ő költségén jelent meg 1865-ben. Mikes KelemenTörökországi leveleinek kéziratát 1867-ben ő vásárolta meg Toldy Ferenctől az egri érseki líceum könyvtára számára.
Az egri jogakadémiát megnyitó beszéde megjelent a Pesti Naplóban (1862. 178. sz.); az orvosok és természetvizsgálók Egerben tartott XIII. gyűlését megnyitó beszéde pedig a Munkálatok XIII. (1869) kötetében. Az egri főmegyei papság B. aranymiséjének ünnepére Emlékkönyvet adott ki Egerben 1865.
Pintér JenőA magyar irodalom története: tudományos rendszerezés Budapest, 1930–1941; 6. kötet. Bevezetés / Irodalompártolók c. alfejezet. (CD-ROM: Arcanum Kiadó)
Bartakovics Béla érsek, a kultúra mecénása; szöveg Tengely Adrienn, fotó Szántó György; Líceum, Eger, 2017 ("Líceumi szellemiség" ismeretterjesztő sorozat)