Ο Ιωσήφ στέφθηκε βασιλιάς της Ουγγαρίας σε ηλικία εννέα ετών το 1687, και βασιλιάς της Γερμανίας στην ηλικία των έντεκα ετών το 1690. Όταν πέθανε ο πατέρας του, τον διαδέχθηκε στον αυτοκρατορικό θρόνο της Αγίας Ρωμαϊκής Αυτοκρατορίας, καθώς και στον θρόνο του Βασιλείου της Βοημίας.
Ο Ιωσήφ συνέχισε τον Πόλεμο της Ισπανικής Διαδοχής, τον οποίο ξεκίνησε ο πατέρας του, εις βάρος του Λουδοβίκου ΙΔ΄ της Γαλλίας, σε μια άκαρπη προσπάθεια να γίνει βασιλιάς της Ισπανίας ο νεότερος αδελφός του Κάρολος. Τη διαδικασία, ωστόσο, κέρδισε ο Ευγένιος της Σαβοΐας, λόγω των νικών που πέτυχε ως στρατιωτικός διοικητής, ενώ ο ίδιος κατάφερε να ιδρύσει Αυστριακή ηγεμονία επί των εδαφών της Ιταλίας. Ο Ιωσήφ, επίσης, είχε να αντιμετωπίσει μια παρατεταμένη εξέγερση στην Ουγγαρία, υποκινούμενη από τον Λουδοβίκο ΙΔ΄, η οποία επιλύθηκε μόνο μετά τον πρόωρο θάνατό του.[10]
Το σύνθημά του ήταν "Με Αγάπη και Φόβο" (λατινικά: Amore et Timore).[11]