Garrett var først og fremst kulestøter, men konkurrerte også i hoppøvelser. Da han bestemte seg for å delta i de første olympiske lekene i moderne tid 1896 i Athen, foreslo professor William Milligan Sloane at han også skulle prøve diskos. Garrett bad en smed å lage en diskos, den veide cirka 14 kg og var alt for tung til å kastes, så Garrett oppgav ideen.
Garret betalte reisen til Athen for seg selv og tre andre klassekamerater, Francis Lane nummer tre på 100 meter, Herbert Jamison på andreplass på 400 meter og Albert Tyler nummer to i stav. Da han oppdaget at diskosen kun veide to kg besluttet han å delta i diskoskonkurransen likevel. De greske diskoskasterne var stilkastere, mens Garret gikk mer på ren kraft. Hans første to kast var pinlig klønete og både det amerikanske og utenlandske publikumet lo av hans stil. Men i sitt siste kast nådde diskosen hans 29,15 meter, 19 centimeter lengre enn den beste greske kasteren.
Garrett vant også kulestøt på 11,22 og i høydehopp ble han nummer to på 1,65 samme plass fikk han i lengde med et hopp på 6,00 meter. Under OL 1900 i Paris kom han på tredjeplass både i kule og i tresteg uten tilløp. Han var også med på tautrekkinglaget men da tre av lagete seks medlemmer var sleggekastere og tautrekkingkonkurransen kolliderte med sleggekastøvelsen, fikk han aldri sjansen til å konkurrere i den øvelsen.
