Sumiharu est le fils aîné d'Uku Sumitaka et prend la direction du clan à l'âge de 20 ans. Il épouse une fille adoptive de Matsuura Shigenobu. Bien que son nom de famille est à l'origine Uku comme son père, il décide plus tard de le changer pour Gotō.