Gössa Anders Andersson föddes på Gössagården i Holen,[8] son till häradsdomaren Gössa Anders Andersson d.ä. och Hassis Anna Larsdotter.[9] Fadern hade på grund av det religiösa motståndet mot profan musik hindrats att själv lära sig spela instrument. Han bevarade dock traditionen genom att tralla de äldre låtarna som han hade lärt sig av sin gamla farmor som hade varit gift med den kända spelmannen Maklins Anders Hansson (1821–1857), och från och spelmannen Blecko Anders Olsson.[10] Maklins syster var dessutom mormor till Gössa Anders d.ä.[11]
Gössa Anders började som tio år gammal spela fiol, och sexton år gammal uppträdde han först som bröllopsspelman. Han fick sin första fiol och lärde sig grunderna av en snickare och instrumentmakare, Hans Renström, som hade sin verkstad på gården i Holen.[8] Då började hans far sjunga låtar för honom, som han fick lära sig med alla drillar och ornament.[10] Han spelade också althorn och klarinett i Orsa skyttegilles musikkår.[8]
