A fiatal Gielgud a tanulmányait a jónevű londoni Royal Academy of Dramatic Arts-ban végezte. Pályafutását színpadon kezdte, húszéves korában lépett fel először. Jó barátságot kötött Laurence Olivier-vel is, huszonhét évesen már William ShakespeareHamletjét formálta meg nagyszerűen. Gielgud életművében a későbbiekben is főszerepet játszott a reneszánsz drámaóriás.
Első jelentős (egyben fő)szerepét Alfred Hitchcocktól kapta a Titkos ügynökben(Secret Agent), 1936-ban. Gielgud a második világháború alatt csupán egy filmben szerepelt, az 1941-ben készített A miniszterelnökben(The Prime Minister)Benjamin Disraelit, a viktóriánus Anglia egyik leghíresebb politikusát keltette életre. A visszatérésre tizenkét évet kellett várni, de megérte, hiszen BAFTA-díjjal tüntették ki a cselszövő Cassius megformálásáért Shakespeare Julius Caesarjának filmváltozatában, a fiatal Marlon Brando és James Mason mellett. Ezután szintén két Shakespeare-szerep következett, a Rómeó és Júliában és a III. Richárdban. 1957-ben A Wimpole Street-i Barettek(The Barretts of Wimpole Street) című romantikus drámában tűnt fel, amely a költőházaspár Robert Browning és Elizabeth Barrett szerelmét mesélte el.
Az 1960-as évek
Az 1960-as évek elején Gielgud újra szünetet tartott pályafutásában, de 1964-ben ismét emlékezetes volt a visszatérése a Becket című történelmi drámában, amelyben Richard Burton és Peter O’Toole partnere volt. Gielgudot Oscar-díjra is jelölték. Szintén 1964-ben próbálkozott meg a rendezéssel is, és egy minden szempontból igényes Hamlet adaptációt készített barátjával, Richard Burtonnel a címszerepben. Egy évvel később Tony RichardsonA megboldogult(The Loved One) című vígjátékában szerepelt, majd Orson Wellesszel dolgozott együtt a Falstaffban. 1968-ban ismét Tony Richardson rendezővel forgatott A könnyűlovasság támadása(The Charge of the Light Brigade) című, a krími háborúban hősiesen helytálló brit katonákról szóló filmjében, melyben Trevor Howard és Vanessa Redgrave mellett játszott.
Az 1970-es évek
1970-ben ismét Julius Caesar-adaptációban nyújtott remek alakítást, de ezúttal most nem Cassius, hanem a római hadvezér bőrébe bújt. 1974-ben megkapta második BAFTA-díját is a Gyilkosság az Orient expresszen(Murder on the Orient Express) című krimiklasszikusnak köszönhetően, ahol olyan, fiatalabb sztárok között brillírozott, mint Albert Finney, Sean Connery, Ingrid Bergman és Lauren Bacall. 1977-ben a Henry Fielding regényéből készült Joseph Andrewsban komédiázott. Nerva szerepét játszotta Tinto Brass pornóelemekkel fűszerezett botrányfilmjében, a Caligulában (1979). Erről a szerepléséről az akkor 75 éves művész szarkasztikusan csak ennyit mondott a forgatás végén: „Elkészítettem az első pornófilmem.”
Az 1980-as évek
1980-ban Anthony Hopkinsszal és John Hurttel szerepelt együtt David LynchAz elefántember(The Elephant Man) című filmdrámájában. 1982-ben, 78 évesen, Gielgud elnyerte a legrangosabb filmes kitüntetést, az Oscar-díjat, a legjobb férfi mellékszereplő kategóriában, az Arthur című romantikus vígjátékban nyújtott alakításáért, de ugyanezért a Golden Globe-ot is begyűjtötte. Ugyancsak '82-ben szerepelt Richard AttenboroughGandhi című Oscar-díjas történelmi drámájában Ben Kingsley és Edward Fox oldalán. 1988-ban szerepet vállalt az Arthur folytatásában, de a második rész meg sem tudta közelíteni az első sikerét.
Gielgudot 1953-ban homoszexualitása miatt letartóztatták, majd elítélték. Ennek ellenére karrierje nem szenvedett csorbát. Homoszexualitását sohasem tagadta, bár nem is beszélt róla: szégyenkezett meghurcoltatása miatt. Évtizedeken át volt élettársa Martin Henslernek, erről egy 1988-as interjúban nyíltan beszélt.[1][2]2000. május 21-én 96 éves korában légúti fertőzés következtében hunyt el. Halála után elhamvasztották.