Οι Orange Goblin δημιουργήθηκαν από τον τραγουδιστή Μπεν Γουόρντ, τους κιθαρίστες Πητ Ο' Μάλεϊ και Τζο Χορ, τον μπασίστα Μάρτιν Μίλαρντ και το ντράμερ Κρις Τέρνερ. Αρχική ονομασία του σχήματος ήταν Our Haunted Kingdom, με την οποία κυκλοφόρησαν από κοινού ένα σινγκλ με τους Electric Wizard, μέσω της δισκογραφικής εταιρείας "Rise Above Records".[1]
Μέσα στο 1996 άλλαξαν το όνομα τους σε Orange Goblin και ξεκίνησαν τις ηχογραφήσεις για τον πρώτο τους δίσκο με τίτλο "Frequencies from Planet Ten", ο οποίος κυκλοφόρησε τον Οκτώβριο του 1997. Στο άλμπουμ πραγματοποίησε γκεστ συμμετοχή ο κιμπορντίστας Ντάνκαν Γκιμπς. Το καλοκαίρι του 1998 ηχογράφησαν το δεύτερο τους άλμπουμ, το οποίο εκδόθηκε στις αρχές του 1999 με τίτλο "Time Travelling Blues", μέσω της "Rise Above".[2] Το διαδέχτηκε το "The Big Black" του 2000, πριν το συγκρότημα ξεκινήσει να αποχωρίζεται τον καθαρά stoner metal ήχο του, προσθέτοντας του doom και punk στοιχεία.[3]
Η αλλαγή αυτή είναι εμφανής στο "Coup de Grace" του 2002, το οποίο περιέχει και τη διασκευή στο "We Bite" των Misfits. Το 2003, ο κιθαρίστας Πητ Ο' Μάλεϊ αποχώρησε από το συγκρότημα,[4] πριν οι Orange Goblin κυκλοφορήσουν το πέμπτο τους άλμπουμ με τίτλο "Thieving from the House of God".
Στις 16 Δεκεμβρίου του 2005, το συγκρότημα γιόρτασε τα δέκα χρόνια ύπαρξης του με μία ζωντανή εμφάνιση στο κλαμπ "Underworld" του Κάμντεν. Ο επόμενος τους δίσκος, με τίτλο "Healing Through Fire" ήταν ο πρώτος που κυκλοφόρησε μέσω της "Sanctuary Records". Το φθινόπωρο του 2008 ανακοίνωσαν ότι είχαν ξεκινήσει τη σύνθεση νέων κομματιών, με μία ανάλογη ανακοίνωση να γίνεται και το 2009.[5]
Το 2010 ανακοινώθηκε η επ' αορίστου αναβολή των ηχογραφήσεων, οι οποίες πραγματοποιήθηκαν τελικά τον Αύγουστο και το Σεπτέμβριο του 2011. Ο δίσκος "A Eulogy for the Damned" κυκλοφόρησε στις 14 Φεβρουαρίου2012 μέσω της "Candlelight Records",[6] όντας ο πρώτος τους που κατάφερε να μπει στη λίστα με τους πρώτους εκατό δίσκους των βρετανικών τσαρτ.[7]