Clemente var eldste sønn av Antonio Grosso og Maria Basso della Rovere, søster av kardinal Girolamo Basso della Rovere og niese til pave Sixtus IV. Clemente fikk farens etter navn og beholtt som tillegg della Rovere, på grunn av denne adelsfamiliens betydning.