Borg studierte Gesang an der Sibelius-Akademie (und nebenbei Biochemie) und debütierte 1947 als Konzertsänger in der finnischen Hauptstadt. Sein Operndebüt fand 1951 in Aarhus statt, als Colline in La Bohème, der klassischen Bassdebütpartie schlechthin (auch jene von Christoff, Ruggero Raimondi und Willard White). Von da an stand er auf allen Bühnen (Nord-)Europas, debütierte dann 1959 an der Metropolitan Opera als Graf Almaviva (Le nozze di Figaro) und sang 1961 den Boris in Moskau. Von 1964 bis 1970 sang er an der Hamburgischen Staatsoper. 1980 verabschiedete er sich von der Bühne.
Seit 1972 und bis 1989 bekleidete er einen Posten als Gesangslehrer an der Königlichen Musikhochschule Kopenhagen. Er komponierte ebenfalls Vokalmusik.
Borgs feste, vitale Stimme und seine unsentimentale und schmalzlose Art ist unter anderem in der Aufnahme der Messa da Requiem unter der Leitung von Ferenc Fricsay gut zu studieren.
Als Komponist verfasste Borg mehrere Instrumentalwerke, darunter zwei Sinfonien, sowie Vokalmusik, darunter eine eigene Vertonung des Stabat mater.
