Kvarnsten började brytas i Lugnås på 1100-talet, och brytningen fortsatte fram till cirka 1915, då kvarnstenar i gnejs förlorade sin konkurrenskraft mot kvarnstenar i betong.
År 1933, öppnades gruvan för besökare. År 2012 utsågs den till Årets arbetslivsmuseum[1] och samma år fick Qvarnstensgruvan Minnesfjället utmärkelsen Geologiskt arv, som delas ut av Sveriges geologiska undersökning.