La storia della città comincia nel XIII secolo quando una massiccia immigrazione di elementi di lingua tedesca, qui chiamati dal re d'UngheriaBéla IV, ridette vigore ad una regione rimasta spopolata a causa delle invasioni tartare. Zvolen così divenne un importante centro amministrativo e commerciale, oltre che sede di fiorenti attività artigianali ed ospitò tra le sue mura numerosi regnanti ungheresi.
Caratteristico della città di Zvolen è lo Zámok, cioè il castello cittadino, costruito come propria residenza nel 1360 dal re Luigi I d'Angiò ad imitazione dei modelli italiani, e ristrutturato in epoca rinascimentale dal re Mattia Corvino. Il castello attira ogni anno migliaia di turisti.