Potter vant en olympisk sølvmedalje i golf under OL 1904 i St. Louis. Han var med på det amerikanske laget Trans Mississippi Golf Association som kom på andreplass i lagkonkurransen i golf bak Western Golf Association. Det var kun tre lag, alle amerikanske med ti mann på hver, som deltok i lagkonkurransen i golf som ble spilt 17. september1904.