V roce 1526 přešel oslavanský klášter cisterciaček i se vším příslušenstvím z církevních do světských rukou a získala jej brněnská rada. Avšak následkem požáru postupně pustnul. V roce 1533 král Ferdinand I. odebral klášter brněnské obci a získal jej Jan Kuna z Kunštátu. Klášter poté postupně střídal majitele až do roku 1577, kdy do Oslavan přišel rod Althanů. V roce 1583 byl klášterní kostel opraven a na konci 16. století vybudovali Althanové před západní stěnou kláštera renesanční zámek se dvěma arkádovými křídly s 102 pískovcovými sloupy. V 17. a 18. století založili Althanové v Oslavanech hudební seminář, kde působil italský skladatel Carlo Abbate.
Další majitelé
Dalším rodem, který držel oslavanské panství, byl Mollartové, když se za Arnošta Mollarta provdala Marie Althanová. Zámek byl prodán klášteru Králové v Brně. V roce 1712 nechala postavit abatyše Maria Rosa osmihrannou věž se zvonem.
V roce 1783, jako následek josefínských reforem, byl zámek zkonfiskován a připadl císařské komoře. V roce 1789 byl pronajat dalšímu rodu, a to Scharffům za 9200 zlatých ročně. O deset let později Jan Scharff zámek za 200 402 zlatých koupil a zhruba v roce 1830 se zde prováděly další stavební úpravy.
Poslední majitelé
V roce 1885 byl zámek prodán poslednímu rodu – Gomperzům, jehož členové shromáždili na zámku velkou sbírku uměleckých předmětů. Gomperzové prováděli, na rozdíl od následujících správců, nedestruktivní stavební úpravy – výměnu točitého schodiště pro služebnictva, pokoje pro služebnictvo a mnohé další opravy a dostavby. Rodina Gomperzů byla židovského původu, tudíž byl v roce 1939 jejich majetek zabaven nacisty. V době druhé světové války prostory zámku využívala německá armáda a veškerý cenný inventář (knihy, koberce, obrazy, stříbro atd.) byl v průběhu války odvezen do Rakouska a následně do Německa.
Po skončení druhé světové války byl majetek Gomperzů podruhé zabaven československým státem a tím začala postupná devastace zámku. Nejdříve zde sídlila armáda, dále pak ubytovna pracovního tábora, internát, národní výbor, mateřská školka a různé sklady. Největší ránu zasadilo oslavanskému zámku umístění jednotného zemědělského družstva. Vedle kašny se nacházel dub, 2. nejstarší na Moravě,[zdroj?!] který byl v té době odstraněn, jelikož zavazel traktorům. Během období komunismu byla opravena věž zámecké kaple (1958) a zámecká střecha (1965).
Současnost
V roce 1992 přešel zámek pod město Oslavany a v roce 1996 se městu podařilo dostat oslavanský zámek do státního programu záchrany architektonického dědictví. Na zámku se opravily střechy, arkády, odstranily se pozůstatky po necitlivých archeologických průzkumech v zámeckém klášteře a neposlední řadě oprava věže nad kaplí (2003). Rekonstruuje se západní křídlo, kde je v současné době Městský zámecký pivovar a restaurace. Dále se rekonstruuje jižní křídlo, kde se v současné době nachází muzeum hasičské, hornictví a energetiky. Od roku 1999 se každé září konají na zámku Historické oslavanské slavnosti.