Van Zyl entrò in politica nel 1915 diventando membro del Partito Unionista. Durante la sua carriera politica fu membro del Consiglio Provinciale del Capo (l'Assemblea legislativa della provincia) fino al 1918 e da allora fino al 1942 fu membro del Parlamento divenendo vicepresidente della Camera dal 1934 al 1942 (il Presidente in questo periodo fu il Dott. Ernest George Jansen, anche lui, più tardi Governatore generale, successore proprio di van Zyl).
Dal 1942 al 1945 egli fu Amministratore della Provincia del Capo. In seguito fu nominato Governatore generale, carica che tenne dal 1º gennaio 1946 al 1º gennaio 1951. Nel 1945 fu nominato membro del Consiglio privato del sovrano. Nel 1947 ospitò il ReGiorgio VI e la famiglia reale britannica nella loro visita il Sudafrica.