Arnoldstein asub Austria lõunapiiril Karni Alpide ja Karawankide mäestiku vahel koha lähedal, kus Gailitz (sloveeni Ziljica, itaalia Slizza) suubub Gaili jõkke (sloveeni Zilja, itaalia Zeglia). Kolmikpunkt ItaaliaTarvisio ja SloveeniaKranjska Goraga on linnast lõunas Ofeni mäel (sloveeni Peč, itaalia Monte Forno) (1509 m). Täna on selles kohas kolmikpunkti tähis.
Arnoldsteini nimi tuleneb selle lossi väidetavast asutajast, kellestki rüütel Arnoldist, tõenäoliselt ministeriaalBambergi piiskoppide teenistuses. Pärast kroonimist 1014. aastal andis keiser Heinrich II Bambergi piiskopkonnale Kärnteni hertsogkonnas suuri valdusi, mis olid algselt olnud Aquileia patriarhide valdused. Lossi on esmamainitud u 1085. aastal, piiskop Otto von Bamberg rajas Kärnteni vasallide kindlustamiseks 1106. aastal sinna benediktiini kloostri. Sellegipoolest pidid mungad 1176. aastal leppima Kärnteni Sponheimi hertsogite ilmalike foogtide ülemvõimuga. 14. sajandi keskpaigas laastas nende valdusi nii 1348. aasta Friuli maavärin kui ka Must surm.
Majandusliku olukorra parandamiseks võimaldas Arnoldsteini abt Bambergi piiskopi nõusolekul 1495. aastal Augsburg kaupmeestel Ulrich, Georg ja Jakob Fuggeril kasutada ümberkaudseid maagimaardlaid ning ehitada sulatusahje, peamiselt vase ja hõbeda jaoks. Oma Fuggerau ettevõttes tegeles Fuggerite perekond suures osas kaubandusega Veneetsia suunal, kuni Arnoldsteini klooster 1570. aastal territooriumi tagasi ostis. Võlg koos reformatsiooni tagajärgedega rikkus kloostri rahanduse peaaegu ära. Täna tähistab endise valukoja asukohta 1814. aastal ehitatud lasketorn.
Arnoldstein õitses taas vastureformatsiooni käigus. Hoolimata kõigist Austria Habsburgide katsetest valdusi vallutada kaotati klooster alles 1783. aastal keiser Joseph II dekreediga. Hoone põles 1883. aastal maha ja vaid varemed on alles. 1980. aastast on ruume järk-järgult restaureeritud.