Ashley ist der Urenkel von James Mitchell Ashley, der ebenfalls Kongressabgeordneter aus Ohio war. Er studierte an der Yale University, an der er zusammen mit dem späteren Präsidenten George H. W. Bush Mitglied der Studentenverbindung Skull & Bones war. Sein Studium unterbrach er durch seinen Einsatz im Zweiten Weltkrieg, wo er in der US Army im Pazifik eingesetzt war. Im Anschluss beendete er 1948 sein Studium in Yale. Er begann zu arbeiten und in einem Abendstudium gleichzeitig Jura zu studieren. Im Jahr 1951 beendete er auch dieses Studium an der Ohio State University und wurde im selben Jahr noch von der Anwaltskammer zugelassen.
Im Jahr 1952 begann Ashley bei Radio Free Europe zu arbeiten. Für den Sender war er bis zum 1. März 1954 tätig, als er sich dazu entschloss zurückzutreten, um bei der Wahl zum Repräsentantenhaus der Vereinigten Staaten anzutreten. Dort war er in 13 Wahlperioden tätig und war auch Vorsitzender verschiedener Komitees. Bei der Wahl 1980 verlor er gegen den Kandidaten der Republikaner, Ed Weber, und schied aus dem Parlament aus.
