Gustav Schulze, charron de métier, commence à courir pour le RV Fidelitas Trebbin. En 1903, il participe à sa première course cycliste le Rund um Berlin et termine 15e. En 1909, il remporte cette course amateur sur 242,7 kilomètres en 9 heures 12 minutes et 13 secondes. En 1910, il gagne le tour de la Hainleite et en 1912Berlin–Cottbus–Berlin. Au Quer durch Deutschland 1911, un prédécesseur du Tour d'Allemagne, il termine sixième au général. La même année, il termine troisième de la course longue distance Vienne-Berlin sur 598,1 kilomètres.