След смъртта на тъста му херцог Вилхелм фон Юлих-Берг той поема през 1511 г. управлението на Юлих, Берг и Равенсберг. През 1521 г. той наследява и баща си Йохан II фон Клеве в Клеве и Марк и образува така Обединените херцогства Юлих-Клеве-Берг, с което става най-могъщ княз в немския запад.
VAn Gots genadenn.// Wir Johan Hertzog zů Cleef,// Gulich vnnd Berg Graff zů der // Marck vnnd Rauenßberg etc. doin // kunt ... (Kirchenordnung), Johannes Soter, Köln, Monreberg, 8. April 1533 (Online), Universitäts- und Landesbibliothek Düsseldorf