À ermida e à imagem encontra-se associada uma curiosa lenda que nos informa que a imagem aqui existente apareceu na costa junto ao mar e que terá também aparecido na Ribeira das Sete, onde terá deixado impressa na rocha a sua pegada conhecida como "Pezinho de Nossa Senhora".
Nesta ermida existe uma Pedra de Ançã, pedra essa que esteve desaparecida durante muito tempo.