Under sin planmessige utvidelse av territoriet til hertugdømmet Westfalen kom han i konflikt med de verdslige herskerne. Striden kulminerte i drapet på erkebiskopen ved Gevelsberg, begått av en westfalisk adelig innenfor en «fraksjon» som ble ledet av hans nevø Friedrich von Isenberg.