James Ivory 1928. június 7-én született Edward Patrick Ivory és Hallie Millicent De Loney gyermekeként.
Tanulmányait az Oregoni Egyetemen valamint a Dél-kaliforniai Egyetemen végezte.
1952-től önállóan készíti filmjeit mint rendező, forgatókönyvíró és operatőr. 1962 óta Ismail Merchant indiai producerrel a Merchant Ivory Productions társtulajdonosa. 1974-ben Guggenheim-ösztöndíjas lett.