Som ung var han sentral i hjembyens rockemiljø og etablerte The Typhoones med Ottar Aasegg og Friedel Brandt. Dette bandet ble omdøpt til The Arctics før det fikk sitt endelige navn, The Pussycats, i mars 1965.[4] Han spilte også i Taboo (1968) og Clan (1968).[5]
Soloalbum, musikkutdannelse og Hålogaland teater
Kjelsberg forlot rocken for en stund etter at Pussycats ble oppløst. Han ønsket å lære mer om musikk og tok derfor utdannelse ved Musikkonservatoriet i Tromsø fra 1970. Fem år senere ble han ansatt ved Hålogaland Teater som komponist, skuespiller og «førstetrubadur». I løpet av andre halvdel av 70-tallet fremsto Sverre Kjelsberg som en politisk engasjert visesanger, og hans første soloalbum fra 1979 inneholdt flere viser som stammet fra teaterstykker ved Hålogaland Teater. Blant disse var «Ellinors vise» med tekst av Klaus Hagerup, hentet fra teaterstykket «Dikt å førbainna løgn». Visa ble tidlig på 90-tallet valgt til en av Norges nasjonalviser av Nitimens lyttere.
Kjelsbergs neste plateprosjekt var et samarbeid med den svenske pianisten Tage Löf. Innholdet på Kära Syster (1980) var en blanding av svenske og norske viser, med vekt på Evert Taube, Carl Michael Bellman, Idar Lind og Alf Prøysen. Produsent og medmusiker på platen var Steinar Ofsdal. På denne platen var også ei vise komponert av Kjelsberg og Ragnar Olsen: «Sámiid ædnan». Den skulle få atskillig større betydning et par måneder senere.
Melodi Grand Prix
Mattis Hætta og Kjelsberg ble i 1980 valgt til å representere Norge i den internasjonale finalen i Melodi Grand Prix med «Sámiid ædnan». Dette var i utgangspunktet en svært politisk komposisjon med budskap om fredning av Alta-vassdraget. Sangen, og ikke minst Hættas fargerike samedrakt, fikk stor oppmerksomhet under finaleuken i Haag. Duoen Kjelsberg/Hætta utga også en plate med joik, viser og rock i forening. Produsent og arrangør for Låla! (1980) var norsk-amerikaneren David Chocron.[6]
Etter å ha deltatt på en gjenforeningsturné med Pussycats tidlig i 1981, gikk Kjelsberg i studio for å lage en ny soloplate. Sverre (1982) inneholdt tolv nye viser, og produsenter var Arvid Esperø og David Chocron. Flere gjenforeningsturneer med Pussycats fulgte, og dette tok mye av Kjelsbergs tid det neste tiåret. Albumet Drømmen e fri (1994) ble utgitt på det lokale Nord-Norsk Plateselskap i 1994. I tillegg til nye sanger, inneholdt platen en nyinnspilling av «Ellinors vise».
Ellers har Kjelsberg medvirket på utgivelser med Ole Paus og Arthur Arntzen (Olufs jubileumsfarse, 1986).
Kjelsberg var «Ukas P2-artist» i programmene Fra rockestjerne til teaterkomponist (NRK, 2006) og mottok «Nordnorsk markedsføringspris» 2007.[7]