Se dice que fue fundada por Gyōki bajo el mando del Emperador Shomu durante la era Tenpyō,[3] Cuando Kūkai llegó al templo oró por los granjeros y talló una estatua de Shaka Nyorai como imagen principal.[3] Sus edificios son reemplazos más recientes después de los daños causados por incendios,[4][5][6] algunos de ellos causados por los ataques a la isla de Shikoku por parte de Chosokabe Motochika durante el siglo XVI.[7]
Ubicado cerca del punto de cruce para los peregrinos de la región de Kansai, Yūben Shinnen identificó el templo como el primero del camino de Shikoku en 1687, y las guías posteriores siguieron su ejemplo.[8] Es costumbre regresar al Ryōzen-ji como un orei mairi (visita de acción de gracias) al completar la peregrinación, aunque esto puede ser a raíz de un desarrollo relativamente reciente.[9][10]