Brundage syntyi Detroitissa. Hän opiskeli insinööriksi Illinois'n yliopistossa ja valmistui 1909. Muutaman vuoden kuluttua Brundage perusti Avery Brundage Companyn, joka toimi Chicagon kaupungissa ja sen ympäristössä vuoteen 1947.
Kun Kansainvälisen olympiakomitean silloinen puheenjohtaja belgialainenHenri de Baillet-Latour kuoli toisen maailmansodan aikana, Brundagesta tuli Kansainvälisen olympiakomitean varapuheenjohtaja 1945. Kun Kansainvälisen olympiakomitean puheenjohtaja ruotsalainenSigfrid Edström jäi eläkkeelle 1952, Brundagesta tuli hänen seuraajansa.
Brundagen ensimmäinen merkittävä asema Kansainvälisen olympiakomitean puheenjohtajana oli vuoden 1968 kesäolympialaisissa, jotka järjestettiin Méxicossä, kun kaksi Yhdysvaltain olympiaurheilijaa, Tommie Smith ja John Carlos, esittivät Yhdysvaltoihin kohdistuneen tunnetun vastalauseen mustien ihmisoikeusliikkeen nimissä.