Fiu al lui Serge Tannenbaum, un violonist și al Marcellei Houry, o jurnalistă, Oury a studiat la Lycée Janson de Sailly și la Conservatorul Național de Arte Dramatice. A devenit membru al Comédie-Française cu un an înainte de Al Doilea Război Mondial, dar a fugit în Elveția pentru a scăpa de persecuția anti-evreiască a guvernului Vichy.