Daar bestaan onsekerheid of dit wel die korrekte benaming was. Die oorspronklike naam was heel moontlik "de gemeente van de Toverberg", want eerstens het die San 'n kraal hier gehad en was gewoond daaraan om hulle toorgoed van die koppie te verkry en tweedens is daar die "Acta" van die Kaapse Sinode se sitting van 1829 wat verklaar: "Van die Toverberg, niemand verschenen." Bes moontlik het ds. Murray die uitdrukking "Toorberg", soos destyds reeds in die omgangstaal gebruik, verwar met "Torenberg" en dié verkeerde benaming amptelik aan die gemeente gegee.
Die gemeente het nietemin net drie jaar lank sy oorspronklike naam gedra, want in 1830 het die destydse goewerneur, sir Galbraith Lowry Cole, danksy die bemoeiing van sir Andries Stockenström, sowat 15 500 hektaar aan die NG kerk geskenk. Ter ere van die goewerneur is die gemeente, dorp en distrik sedertdien Colesberg genoem. Die kerk het die grond in erwe opgedeel en die inkomste uit die verkoop daarvan gebruik om sy gebou in die middel van die dorp op te rig.
Eerste leraar
Tien jaar lank was die gemeente vakant tot die eerste leraar, ds. Thomas Reid, in 1836 hier aangestel is. Dié Skotse leraar, een van dié wat die destydse koloniale regering ingevoer het om die tekort aan predikante aan te vul maar veral om die Hollandse bevolking te verengels, se bediening in die gemeente Colesberg strek van Julie 1836 tot 13 Februarie1854. Van tyd tot tyd kom verskeie Voortrekkers en trekboere noord van die Oranjerivier na Colesberg om hul kinders deur Reid te laat doop. Gevolglik voel hy bekommerd oor hul geestelike welsyn en vra verlof van die Ring van Graaff-Reinet om aan die uitgewekens langs die Riet-, Sand- en Kafferrivier die evangelie te gaan bedien. Hoewel die Ring toestemming verleen, word hy deur die destydse landswette verhoed om te gaan.
Omstredenheid
Sy bediening in die gemeente Colesberg is oorskadu deur 'n bittere twis oor die invoering van die evangeliese gesange. Jare lank het die Kaapse kerke slegs die berymde psalms gesing. Van 1814 is die gesange ook in die een na die ander gemeente ingevoer. Mettertyd verset sekere lidmate met meer behoudende opvattings, veral in die noordelike en noordoostelike distrikte van die Kaapkolonie hulle teen die sing van die gesange omdat dit nie soos psalms regstreeks uit die Bybel berym is nie en boonop na hulle mening strydig met die Skrif was. Ná Reid se aankoms op Colesberg het die geskil daaroor nog groter geword. In November 1841 rig die Ring van Graaff-Reinet 'n herderlike skrywe aan die gemeente waarin hulle die besware van die anti-gesangmense wil weerlê, sonder om enigsins tegemoetkomend te wees. Hulle verklaar ook dat as lidmate uit vooroordeel of styfhoofdigheid weier om gesange te sing, hulle besig is om die liggaam van Christus te "deurboor", selfs te verskeur. Dié krasse taal gee diep aanstoot en veroorsaak 'n geweldige beroering onder die ontevredenes van die gemeente Colesberg. Die saak word vererger toe Reid, gewapen met hierdie sterk Ringsbesluit, die gesange wil afdwing deur in sommige gevalle selfs sekere kerklike voorregte te weier tensy die betrokkenes hul verbind tot die sing daarvan.
In dié aangeleentheid tree hy meermale uiters taktloos en selfs beledigend op. Namate die ontevredenes geen bevrediging van die Ring of die Sinode verkry nie, word hulle aanvalle al hoe meer op ds. Reid self gerig. Hulle beskuldig hom daarvan dat hy sy amptelike plig versuim en dring aan dat hy verplaas word. Eers nadat geweldige druk uitgeoefen is, ook van die Ring en die Sinode, bedank hy in 1854 as predikant van Colesberg. Teen dié tyd was die breuk in die gemeente reeds te groot en toe die Gereformeerde Kerk op 11 Februarie1859 op Rustenburg tot stand kom, was die saad vir die Gereformeerde afskeiding reeds op Colesberg gesaai. Op 8 Desember1860 sluit 'n deel van die gemeente hulle dan ook by die nuwe Kerk aan.
Latere leraars
Ná nog 'n lang vakature, dié keer vyf jaar, het dr. Servaas Hofmeyr die gemeente twee jaar lank bedien, waarna ds. A.D. Lückhoff die herderstaf opneem. Tydens sy bediening is die kerkgebou, wat vandag nog die dorp oorheers, opgerig. Die wydingsrede is op 12 Augustus1866 deur ds. G. van de Wall, destyds leraar van Bloemfontein, gelewer. Die oorspronklike plan vir die gebou is egter nie dadelik voltooi nie. Die toring bo die ingang moes noodgedwonge agterweë bly, want "men scheen niet de moed gehad te hebben meer te doen". Die kerk het immers by gedeeltelik voltooiing reeds £14 000 gekos. Eers in 1926 met die gemeente se eeufeesviering tydens die bediening van dr. H.A. Lamprecht, is die toring aangebring en het die gebou sy huidige vorm aangeneem.