Secondo i racconti di Vyvyan nella sua autobiografia, Son of Oscar Wilde, Oscar era un padre dedito e amorevole con i suoi due figli e la loro infanzia fu relativamente felice. Tuttavia, dopo la caduta nell'infamia di Oscar, Constance decise di assumere il cognome Holland per i due ragazzi e per se stessa (il cognome Holland faceva parte del suo patrimonio familiare).[1] Portò i figli in Svizzera e poi li iscrisse ad una scuola di lingua inglese in Germania. Vyvyan non era felice lì. Per tale motivo e per garantirne la sicurezza, Vyvyan fu trasferito in una scuola gesuita a Monaco e successivamente frequentò lo Stonyhurst College, sempre gestito dai Gesuiti.[2] Cyril rimase invece in Germania. Dopo la morte di Constance nel 1898 i suoi parenti cercarono un consulente legale per impedire a Oscar Wilde di rivedere i suoi figli.
Dal 1899 al 1903 Holland frequentò il Radley College. Dopo aver lasciato la scuola divenne un Gentlemen Cadet alla Royal Military Academy a Woolwich e fu commissionato Sottotenente nell'Artiglieria Reale il 20 dicembre 1905. Fu promosso Tenente il 20 dicembre 1908 e servì il Regno Unito fino a quando venne inviato in India dove prestò servizio dal settembre 1911 all'agosto 1914. Fu promosso Capitano il 30 ottobre 1914.[3]