Nasceu em Dresden, Alemanha, filho de um diretor de ópera e mãe polonesa de origem judia. Com a ascensão dos nazismo, sua família emigrou primeiramente para a Áustria em 1937. Porém após o Anschluss, sua família partiu para a Argentina.
Iniciou sua carreira como pianista em Buenos Aires, onde estudou com Erwin Leuchter e teve sua primeira performance muito cedo, tocando uma obra completa de piano de Schoenberg, em 1949. Enquanto ele servia de maestro na Ópera do Estado de Viena (em alemão Wiener Staatsoper), entre 1950 até 1960 conduziu muitas obras contemporâneas em outras casas de óperas. Gielen foi o principal maestro operístico da Ópera Real Escocesa de 1960 até 1965, seguindo-se de postos na Ópera Holandesa e da Opern und Schauspielhaus Frankfurt. Ele foi o maestro principal da Orquestra Nacional Belga, de 1969 até 1973, da Orquestra Sinfônica de Cincinnati, de 1980 até 1986 e da Orquestra Sinfônica da Rádio Alemã do Sudoeste de 1986 até 1999.
Demonstrou um domínio sobre as obras contemporâneas mais complexas e também executou muitas estreias, incluindo Fassade e Klangschatten de Helmut Lachenmann, Requiem de György Ligeti, Carré e Bernd Aloisde Stockhausen e Requiem de Alois Zimmermann. Ele também é um notável maestro para executar as sinfonias de Ludwig van Beethoven, Anton Bruckner e Gustav Mahler.