Fils de Miles et Birdie Fox, Virgil fait preuve d'aptitudes musicales exceptionnelles dès le plus jeune âge. Il est organiste liturgique dès l'âge de dix ans et fait ses débuts en concert à l'âge de quatorze ans.
En 1936, Fox est organiste à l'église presbytérienne du Brown Memorial à Baltimore. Durant la Seconde Guerre mondiale, il s'engage dans l'Armée de l'Air mais parvient donner un certain nombre de récitals. Il est libéré de ses obligations militaires avec le grade de sergent en 1946.
De 1946 à 1965, il est titulaire à l'église de Riverside de New York et participe largement à l'agrandissement de l'instrument. Devant le succès rencontré par ses interprétations, il décide en 1965 de se consacrer à plein temps aux concerts.
Dans un style très particulier (tempos rapides, registrations inhabituelles, jouant de mémoire, portant des costumes flamboyants, s'adressant aux auditeurs, etc.), il effectue ses tournées intitulées Heavy Organ à travers les États-Unis, utilisant un orgue électronique pour pouvoir jouer dans tous types d'endroits : auditorium, salles de spectacles ou de concert, etc. Il se fait un champion de la musique de Johann Sebastian Bach.
Il est également apparu dans de nombreuses émissions télévisées durant les années 1960 et 70(Ed Sullivan Show, Camera Three...) qui ont contribué à populariser l'orgue de concert auprès du public.
En 1962, avec Catharine Crozier et E. Power Biggs, il participe à l’inauguration de l’orgue (aujourd’hui disparu) du Philharmonic Hall de New York.
Son dernier enregistrement, réalisé à l'église de Riverside (New York), date de 1979.
