Vuonna 1897 Brunetta d'Usseaux'sta tuli kansainvälisen olympiakomitean jäsen. Hän onnistui saamaan Roomallevuoden 1908 olympialaiset, mutta Italian hallitus luopui kisojen järjestämisestä taloudellisten syihin ja järjestelyvaikeuksiin vedoten. Sen sijaan Lontoo järjesti kisat.
Vuonna 1908 Brunetta d'Usseaux'sta tuli kansainvälisen olympiakomitean varapuheenjohtaja. Hän yritti saada olympialaisten ohjelmaan talviurheilulajeja ja ehdotti muun muassa erillisen talviurheiluviikon liittämistä Tukholman olympialaisiin 1912. Ruotsalaiset vastustivat ideaa, mutta vuoden 1916 olympialaisten ohjelmaan talviurheiluviikko lisättiin. Kisat kuitenkin peruttiin ensimmäisen maailmansodan vuoksi.