Farfadern Niels Kalhauge (död 1821) blev 1782 organist vid Frederiks tyska kyrka och senare vid Helligaandskirken, medan fadern (Johan Christian Kalhauge, 1803–71) var organist vid Vartovs kyrka. Viggo Kalhauge var lärjunge till pianisten Carl Rongsted samt till Johan Christian Gebauer och Peter Heise. Han efterträdde sin far som organist vid Vartovs kyrka och innehade denna befattning till sin död (under 34 år).
Kalhauge inlade sig stor förtjänst av den grundtvigska församlingssången, vars talrika melodier han samlade och utgav. Han framträdde som kompositör med flera ouvertyrer, pianostycken, sånger samt med mindre sångspel, Zuavens Hjemkomst (Casino), Paa Krigsfod och Mantillen (Det Kongelige Teater).
