Né à Strathroy en Ontario, Orton poursuit ses études à l'Université de Toronto, avant de partir à l'Université de Pennsylvanie en 1893. À l'époque, il est déjà un des meilleurs spécialistes du demi-fond d'Amérique du Nord. Il remporte des titres nationaux au Canada, aux États-Unis et au Royaume-Uni, sur le mile, le deux-miles et la course d'obstacles. Le temps d'Orton sur le mile de 4 minutes 21,8 secondes en 1892 restera le record canadien pendant trente années.
Orton obtient son diplôme en 1896, mais il continue la pratique du sport. Le couronnement de la carrière d'Orton viendra à l'occasion des Jeux olympiques d'été de 1900 qui ont lieu à Paris. Orton dispute trois épreuves : deux épreuves de course d'obstacles et le 400 m haies. Orton est le premier Canadien à remporter une médaille, gagnant l'épreuve du 2 500 mètres course d'obstacles ou 2 500 mètres steeple. Il finit par la suite à la troisième place du 400 mètres haies et cinquième du 4 000 mètres course d'obstacles.
.svg){kind=small}
.svg){kind=small}
