1567. aasta mais hakkasid süvenema Erikus hullumeelsuse märgid: ta hakkas käskima hukata inimesi, kes talle reeturitena tundusid, isegi kui nad päriselt reeturid ei olnud, ja pussitas oma käega surnuks Lotringist saabunud Rootsi saadiku Nils Sture. Riigi juhtimine läks Riiginõukogu kätte. Septembris lõppes Johani vangistus. Varsti Erik paranes ning sai trooni tagasi, kuid ei käskinud Johanit uuesti vangistada ja too hakkas kohe plaanima ülestõusu Eriku vastu, tuues ettekäändeks, et too olevat abiellunud lihtrahva hulka kuuluva Karin Månsdotteriga.
Johani ülestõusu toetas enamus Rootsi aadlist, kes polnud rahul Eriku väljastatud vahistamis- ja hukkamiskäskudega, mille täideviimise eest hoolitses kuninga nõunik ja riiklik süüdistajaJöran Persson. 1568. aasta septembris sundis Johan Eriku troonist loobuma ja sai ise Johan III nime all uueks kuningaks. Ta laskis Jöran Perssoni vahistada, kohtus süüdi mõista ja hukata. Sellel olid ka isiklikud põhjused, sest Persson oli lasknud Johanil vanglas elada märksa hullemates tingimustes kui Erik oli käskinud.
Siiski ei tundnud Johan end seni kindlana, kuni Erik elas. 1571 käskis ta valvuritel Erik mürgitada, kuid see käsk jäi täitmata, õigupoolest täideti alles 26. veebruaril1577, mil Erik mürgitati hernesupiga. Lahkamine näitas, et Erik suri arseenimürgitusse.
Johan abiellus 21. veebruaril1584Gunilla Bielkega (1568–1592), kes oli endise Östergötlandi asehalduri Johan Axelsson Bielke tütar. Bielke oli 16-aastane, kuningast 31 aastat noorem ja imekaunis. Johan ise väitis, et soovib vanaduspõlveks enda kõrvale ilusat naist ja et välismaa printsesside portreesid ei saa usaldada. Abielust sündis
