Bergsvåg debuterte i 2000 med diktsamlingen Newfoundland, og har siden skrevet diktsamlingene Nattarbeid og Nemesis. Han arrangerte i 2000 og 2002 Bergen Poesifest sammen med kollega Tomas Espedal, en festival med hovedvekt på samtidige retninger i særdeleshet Sverige, Frankrike og USA. Han har siden 2014 ledet arrangementserien Poesidigg, som har hatt besøk av over hundre poeter fra inn- og utland. Et utvalg av Bergsvågs dikt har blitt oversatt til engelsk, tysk, fransk, nederlandsk, svensk, kinesisk, slovensk og spansk i ulike tidsskrift og til ulike festivaler. De siste årene har Bergsvåg også vært involvert i prosjekter i dansefeltet, blant annet som utøver i Forfatterbevegelsen av dansekunstner Marie Bergby Handeland, som mottok Kritikerprisen for dans 2018. I 2022 ble Poesidigg ved Bergsvåg tildelt hederprisen Wergelands åre av Norsk Forfattersentrum.[2]
