La località fu abitata fin dall'epoca preistorica, e nel periodo romano sorse qui la stazione di posta di Colatio. Il primo villaggio medievale, l'odierno Grajski grič, si sviluppò intorno al vecchio castello su un'altura e godette di particolari privilegi, ceduti, più tardi al vicino e più sicuro villaggio di Slovenj Gradec, che divenne centro commerciale nel 1251, ottenendo il titolo di città nel 1267 e germanizzandosi. Da allora rimase per secoli un importante centro commerciale. Nel censimento del 1880, l'area era abitata dal 75% di persone parlanti tedesco e dal 25% da parlanti sloveno. Dopo la fine della prima guerra mondiale la maggior parte dei tedeschi lasciò la città per l'Austria; i rimasti vennero poi espulsi nel 1945.
La città conserva il bel centro storico, la chiesa di Sant'Elisabetta, consacrata nel 1251 dal patriarca di AquileiaBertoldo IV, la chiesa dello Spirito Santo del secolo XV, e la chiesa di San Pancrazio.
A Slovenj Gradec nacque il compositore austriaco Hugo Wolf (1860 - 1903). La città, inoltre, fu la patria natale della nobile famiglia dei Windischgrätz, i cui membri furono fieri soldati al servizio degli Asburgo, elevati al rango di Principi dell'Impero d'Austria. Altri cittadini illustri comprendono il pittore Jože Tisnikar e il filosofo Vinko Ošlak.
