Prvotno je Mali Tabor bio kaštel, izgrađen u drugoj polovini 15. stoljeća (vjerojatno oko 1490. g.), u kojem je ban Ivaniš Korvin smjestio upravno sjedište vrbovečkoga ili velikotaborskog vlastelinstva. Povijesni dokumenti spominju ga 1511. kao Kys Thabor. Bio je u posjedu Ivaniša Korvina (1490. – 1504.), Jurja Brandenburškog (1509. – 1524) koji ga prodaje obitelji Ratkaj. U njihovu je vlasništu sve do 1793. kada ga nasljeđuje njihov nećak, barun Josip Wintershoffen. Kasnijim ženidbenim vezama Mali Tabor dolazi u vlasništvo obitelji Jelačić, a zatim baruna Kavangha, čiji su potomci držali dvorac do kraja Drugog svjetskog rata.
Mogu se razlučiti tri osnovne razvojne faze izgradnje Malog Tabora. U najranijoj fazi gradnje je renesansni kaštel imao oblik pravokutne građevine s obrambenim zidovima i četiri okrugle kule. U drugoj fazi gradnje kaštel je pregrađen u dvokrilni dvorac s četiri cilindrične kule, kojeg su sa zapadne i sjeverne strane unutrašnjeg dvorišta zatvarali obrambeni zidovi. U 19. stoljeću je ponovno nadograđen, te mu je tada srušen sjeverni obrambeni zid. Prema planu iz 1861. godine, vidljivo je da je dvorac proširen na sjevernu stranu dogradnjom jednokatnog aneksa na istočno krilo, koje je tako dobilo i novi ulazni portal. Na sjevernoj strani dvorca srušen je sjeverni obrambeni zid i poviše njega dograđena manja pravokutna građevina.
