Gungholmen anlades på en liten ö som bildades genom två förgreningar av Pajsoån. Namnet härrör troligen från att det en gång stått en gunga på platsen. Gungholmen och Nya Prästhyttan var ett omtyckt utflyktsmål för familjerna Roth, Wetterdal och Ekman från Ludvika bruk, ägare till den 1829 invigda Nya Prästhyttan.[1] Hit kom familjerna för att njuta av naturen, bada, äta mat, fiska, spela och sjunga.
På ön, som kunde nås via två små gångbroar, byggdes ett litet lusthus och anlades planteringar som föreställer sju initialer av bruksherrars och inspektörers namn, som ägt eller lett bruket vid Nya Prästhyttan. Då var bokstäverna planterade med all slags blommor. Gungholmen nyttjades som rekreationsplats även långt efter att själva järnhanteringen hade lagts ner, vilket skedde 1853.
Idag syns initialerna som stora bokstäver i gräs och blåbärsris, omgivna av grusgångar. Efter en ansökan av Dalarnas Hembygdsförening skyddas Gungholmen som ett fridlyst naturminne.[2]