Vévodství v roce 1449 přišlo o své nejbohatší město Soest a jeho okolí, které bylo vestfálskou obilnicí, ty připadly Klevsku, což Vestfálské vévodství ekonomicky i významově oslabilo. Od roku 1463 se utváří se jednota rytířů a měst na odpor proti nadvládě kolínských arcibiskupů a do Vestfálska přichází reformace.
Kolínští arcibiskupové na čas vévodství ztrácejí. Znovu ho získávají až po Kolínské válce roku 1590 a protestantismus je vytlačen do pohraničí. Během třicetileté války se do Vestfálska přesouvají samotní arcibiskupové, protože území na západ od Rýna byla obsazena francouzskými vojsky. Vestfálsku vládli kolínští arcibiskupové-kurfiřti až do jeho sekularizace a připojení k Hesensku-Darmstadtsku v roce 1803.