Le nom du sanctuaire apparaît pour la première fois dans le Shoku Nihongi, à la fin du VIIIe siècle, dans une anecdote concernant une prière de l'empereur Monmu, qui a régné vers 700. Au IXe siècle, le sanctuaire devient populaire auprès d'hommes et de femmes qui ne peuvent avoir d'enfant ou de femmes qui ont perdu un enfant pendant leur grossesse, volontairement ou non[2].
Les bâtiments actuels datent de 1605 ; on en attribue la construction à Toyotomi Hideyori. Son père, Toyotomi Hideyoshi, n'ayant pas d’héritier mâle, était venu prier au Yoshino Mikumari-jinja ; les nouveaux édifices seraient une sorte d'ex-voto de remerciement pour la naissance de son fils[2].
