Il devient champion olympique aux Jeux d'Helsinki en 1952 après sa victoire en finale contre l'Allemand de l'Ouest Edgar Basel[2]. Brooks passe professionnel en 1953 et remporte le titre de champion d'Amérique du Nord des poids coqs face à Billy Peacock le . Il met un terme à sa carrière en 1958 après 8 défaites consécutives.