Da han var ung, forlot faren familien og Koster måtte finne arbeid som novelleforfatter og tegneserieskaper, men klarte likevel å fullføre den tyske ekvivalenten til videregående.
Koster ble kjent med kinoens verden rundt 1910, da onkelen hans åpnet en veldig tidlig kino i Berlin. Kosters mor spilte piano som akkompagnement til stumfilmene, og Koster fikk da se filmene som et tidsfordriv. Etter sitt tidlige virke som forfatter ble han ansatt som scenograf for et tysk filmstudio. Da regissøren Koster jobbet for, Kurt Bernhardt, ble syk, måtte han ta over som regissør og han regisserte to-tre filmer for filmselskapet i Berlin rundt årene 1931-1932.
Koster måtte tidlig tåle antisemittismen som spiret i Tyskland på begynnelsen av 1930-tallet. Da han mistet besinnelsen og banket opp en SS-offiser, visste han at det var på tide å forlate landet; han dro rett til jernbanestasjonen og flyttet fra Tyskland til Frankrike. Der ble han ansatt på nytt av sin gamle sjefsdirektør Bernhardt, som hadde flyktet tidligere. Etter hvert flyttet Koster igjen, denne gangen fra Frankrike til Budapest i Ungarn. Her giftet han seg med Kato Kiraly i 1934 og møtte snart Universal Pictures representant i Europa, Joe Pasternak. Koster kom for å regissere tre filmer for ham.
_Press_Photo_of_Henry_Koster_(cropped).jpg)
