Op de Olympische Spelen van 1912 in Stockholm nam hij individueel deel aan de 100 m en de 200 m, maar werd op beide disciplines in de halve finale uitgeschakeld. Op de 4 x 100 m estafette won hij met zijn teamgenoten David Jacobs, Henry Macintosh en William Applegarth een gouden medaille. Met een tijd van 42,4 s versloegen ze de Zweedse estafetteploeg met 0,2 s. In de kwalificatieronde werd de Amerikaanse estafetteploeg wegens wisselen buiten het wisselvak gediskwalificeerd.[1] Hierdoor werd het team van Duitsland, dat in de tweede ronde een wereldrecord had gelopen in 42,3, de grote favoriet voor de eindoverwinning. De Duitsers leken deze rol ook waar te maken door de finale te winnen. Later werden zij echter gediskwalificeerd nadat zou zijn gebleken dat, net als bij de Amerikanen in een eerdere ronde, een van de wissels buiten het wisselvak had plaatsgevonden. Door deze beslissing, die niet werd herroepen, zelfs niet toen de volgende dag uit een krantenfoto bleek dat de Duitse atleten hun estafettestok wel degelijk binnen het wisselvak hadden gewisseld, schoven de Engelse en Zweedse teams op naar de eerste en tweede plaats en werd er geen bronzen medaille uitgedeeld.[1]
Acht jaar later op de Olympische Spelen van Antwerpen werd Victor d'Arcy wederom op de 100 m (halve finale) en de 200 m (voorrondes) uitgeschakeld. Op de 4 x 100 m estafette plaatste hij zich wel in de finale, maar moest met zijn teamgenoten William Hill, Harold Abrahams en Denis Black genoegen nemen met een vierde plaats.
