Елгин служел како амбасадор во Отоманското Царство во периодот помеѓу 1799 и 1803 год. Бил голем ентузијаст за антиквитети, и бил шокиран од рамнодушноста на Турците кон старогрчките скулпури кои пропаѓале. Нивното отстранување тој го оправдувал со намерата да ги зачува. Додека се отстранувале мермерите, Елгин увидел дека е неможно тие да се пренесат надвор од акрополот без да се исечат на помали парчиња. Така била направена значителна штета на овие мермерни скулптури. Дури и во тоа време неговите постапки биле контроверзни. Елгин потрошил огромна сума пари за превоз на мермерите до Британија, пари кои тој никогаш не ги надоместил.
Неговиот престој во Средниот Исток бил полн со несреќи. За време на епидемија на „чума“ на Елгин му паднал носот, така станувајќи прилично неатрактивен за неговата млада жена. На пат накај татковината преку Франција, Елгин заедно со некои негови сопатници бил заробен како воен заробеник (војната избила одкога тие ја напуштила Британија) и биле држени во притвор неколку месеци. Иако со нив било постапувано добро, Леди Елгин морала да патува без својот сопруг, и влегла во љубовна врска со еден од нејзините придружници. При неговото враќање во Британија, согледувајќи дека не може да го разубеди Британскиот музеј да ја плати предложената цена за мермерите, го дал на суд љубовникот на жена си за барање превисока цена. Потоа тој се преженил (со уште помлада жена) и отишол да живее во континентална Европа. Мермерите биле изложени, а потоа и купени од нацијата во 1816.
