Fra 1847 virket han i Sierra Leone, et britisk protektorat opprettet for frigitte slaver. Han underviste ved Fourah Bay College.[5] i Freetown, og derfra samlet han inn et omfattende språklig materiale. En del fikk han takket være frigitte slaver som Ali Eisami, en mann av kanurifolket. Foura Bay College fungerte som en sterk magnet for afrikanere fra fjern og nær - ofte fra meget fjernt unna - som søkte en høyere utdannelse.
Hans fremste verk Polyglotta Africana fra 1854 ble innledningen til den seriøse forskningen av europeiske vitenskapsmenn om et stort antall afrikanske språk. I verket sammenlignes 156 afrikanske språk (eller rundt 120 etter mer vanlig forståelse i moderne tid). Som en komparativ studie representerer verket et veldig gjennombrudd.
Han transkriberte sine data ved hjelp av et fonetisk skript utviklet av egyptologenKarl Richard Lepsius. Kölles transkripsjoner var ikke alltid presise. For eksempel forvekslet han hyppig [s] med [z], og [tʃ] med [dʒ]. Hans data var imidlertid svært konsistent, og han kunne lage grupperinger av språk basert på likeheter i vokabular. De gruppene han kunne beskrive korresponderer i mange tilfeller godt med de som senere lingvister holder for riktige:
Av helsemessige årsaker må han i 1855 gi avkall på et nytt misjonsoppdrag til det osmanske Egypt, men samme år dro han til Haifa for å fortsette sin misjonærvirksomhet der.
De første årene var osmantyrkerne nysgjerrig på kristen lære, men stemningen snudde. Man vendte seg mot misjonærene, og de havnet i fengsel. Den britiske regjeringen engasjerte seg og fikk dem løslatt, men Høyporten hadde i mellomtiden forbudt enhver propaganda. Misjonen lot seg ikke gjenoppta like fritt som de i dens første år.
På grunn av pengemangel måtte misjonen avvikles i 1877. Men Kölle forble i Konstantinopel. Der forsøkte han i liten skala å konvertere naboer, uten særlig fremgang. Likevel måtte det bare en konversjon til, for at det skulle ble et veldig oppstyr. Det var i 1879. I all hemmelighet hadde Kölle oversatt den anglikanskeBook of Common Prayer til tyrkisk ved hjelp av Ahmed Tewfik. Tewfik var tilknyttet flere moskeer. Begge ble uventet arrestert av politiet, og kastet i fengsel. Kölle ble nokså raskt løslatt, men hans assistent Tewfik forble fengslet, og risikerte å bli henrettet. Etter en styrkedemonstrasjon fra den britiske flåte og et ultimatum fra den britiske statsministeren, Disraeli, ble Tewfiks dødsstraff bli omgjort til en forvisning til øya Khios, hvorfra han senere kom seg unna, og lot seg døpe (1881). Saken vakte almen oppmerksomhet i London.
Vel tilbake til Storbritannia skrev Kölle blant annet verket The death of Christ upon the cross : a fact, not a fiction : being a word in defence of Christianity against Mohammedan attacks[6]. Han avsluttet forordet med å skrive: «Jeg antar at det ikke vil bli ansett som upassende at en som meg, som har viet den beste delen av sitt livet sitt med å prøve å presentere Kristus og kristendommen for muslimer, har brukt noen år i sin alderdom på dette forsøk på å forklare Mohammed og mohammedanismen for de kristne. Måtte dette vise seg nyttig for å fremme et rent, det vil si kristent, syn på Mohammed og mohammedanismen og til å fremme iveren innen Kristi kirke til å fremme blant våre muslimske naboer Kristus og Guds rike, som er sannhetens rike.»
Verker
Narrative of an expedition into the Vy country of West Africa and the discovering of a system of syllabic writing recently inventid by the narratives of Vy, London 1849.
Polyglotta Africana, or a comparative vocabulary of nearly three hundred words and phrases, in more than one hundred distinct African languages. 188 pp. London, Church Missionary House, 1854.
The death of Christ upon the cross : a fact, not a fiction : being a word in defence of Christianity against Mohammedan attacks. London: Church Missionary House, 1885.
