Ο Σέρμαν ξεκίνησε να παίζει κιθάρα τον Μάρτιο του 1977, όταν αγόρασε μία μαύρη Gibson Les Paul έναντι του ποσού των 100 δολαρίων. Πρώτο του συγκρότημα ήταν οι Brats, ένα πανκ σχήμα από την Κοπενχάγη, με τους οποίους κυκλοφόρησε το άλμπουμ "1980" στις 28 Απριλίου του 1980.[1]
Σύντομα, άλλαξε ύφος επηρεαζόμενος από συγκροτήματα όπως οι Black Sabbath, UFO και Judas Priest, σχηματίζοντας τους Mercyful Fate μαζί με τους King Diamond, Κάρστεν Βαν Ντερ Βόλσινγκ και Γιαν Λίντμπλαντ. Το νέο συγκρότημα παρουσίασε ένα μείγμα του κλασικού heavy metal με αποκρυφιστικούς στίχους και τα ιδιαίτερα φωνητικά του King Diamond, το οποίο αποτέλεσε μεγάλη επιρροή για την μετέπειτα εικόνα των συγκροτημάτων του black metal.[2][3]
Μετά το ομώνυμο ΕΡ, το συγκρότημα κυκλοφόρησε δύο μνημειώδη άλμπουμ, τα "Melissa" (1983)
και "Don't Break the Oath" (1984).[4] Παρ' όλα αυτά, το 1985 διαλύθηκαν, με τον Σέρμαν να συμμετέχει σε σχήματα όπως οι Fate, Lavina και Zoser Mez, με τους τελευταίους να κυκλοφορούν το άλμπουμ "Vizier of Wasteland".[5]
Το 1993, οι Mercyful Fate επανενώθηκαν, κυκλοφορώντας τον δίσκο "In the Shadows", με τον κιθαρίστα να αναλαμβάνει και χρέη παραγωγού.[6] Στον ίδιο ρόλο τον βρήκαν το άλμπουμ "Time" και το ΕΡ "The Bell Witch" την επόμενη χρονιά.[7][8] Μέχρι το 1999, ακολούθησαν τρεις ακόμη δίσκοι, πριν το συγκρότημα περάσει στον πάγο.
Το 2002, ο Σέρμαν σχημάτισε τους Force of Evil, με τους οποίους κυκλοφόρησε δύο δίσκους, ενώ το 2008 δημιούργησε τους Demonica, κυκλοφορώντας το "Demonstrous" δύο χρόνια αργότερα.[9] Έχει συνεργαστεί με ονόματα όπως οι Witchery, Volbeat, Artillery, Critical Solution, Deadlands, Black Succubi, κ.α..
Το 2015, κυκλοφόρησε το ΕΡ "Satan's Tomb" με τον Μίκαελ Ντένερ, πρώην κιθαρίστα των Mercyful Fate, υπό την ονομασία Denner / Shermann.[10] Ακολούθησε ο δίσκος "Masters of Evil" τον Ιούνιο του 2016 μέσω της Metal Blade Records.[11]