Nato da madre ebrea e padre scozzese, Ardie iniziò a studiare recitazione dall'età di 6 anni e nel 1931 iniziò la sua carriera.
Ha lavorato anche come doppiatore nel film d'animazione Bambi dove dà la voce a Bambi, nella versione da adolescente.
È stato sposato dal 1934 al 1940 con l'attrice Martha Speeler; nel 1944 si risposò con Arnita Wallace con cui rimase fino alla morte. Dalla seconda moglie, ha avuto una figlia, Victoria.
Morì nel 1975, a 71 anni, per insufficienza cardiaca in seguito ad una congestione.