James Carnegie õppis Gordonstouni koolis Ludgrove'is ning Kuninglikus Põllumajanduskolledžis Cirencesteris. Aastatel 1948–1950 teenis ta Malaias Šoti rügemendis.
Fife'i hertsog
Fife'i hertsogkonna andis Jamesi vanaisale Alexander Duffilekuninganna Victoria1889. aastal pärast Duffi abiellumist printsess Louise'iga. 1900. aastal muutis ta tiitli statuuti, lubades seda pärandada ka naissoost pärijale, kuna Alexandril ja Louise'il polnud poega. Tiitel läks pärast Duffi surma tema vanemale tütrele Alexandra Connaughtile.
Alexandra suri 26. veebruaril1959 ning James päris temalt Fife'i hertsogi ja MacDuffi markii tiitli, kuna Alexandra ainus poeg ja Jamesi ema olid juba surnud. 16. veebruaril1992 päris ta oma isalt Southeski kaheteistkümnenda krahvi tiitli.