Roditelji, oboje lekari, Jevreji, ubijeni su 1941. godine posle nemačke okupacije Jugoslavije, a on se spasao bekstvom kod rođaka u Novi Sad. Tu je uhapšen u martu 1944. godine, posle čega je bio zatočen u koncentracionim logorima Aušvic i Buhenvald do aprila 1945. godine.
Završio je srednju tehničku školu u Novom Sadu, posle toga studirao arhitekturu, a zatim i germanistiku u Beogradu. Preko dvadeset godina bio je prevodilac za nemački jezik Josipu Brozu Titu, kao i drugim državnim i partijskim funkcionerima u socijalističkoj Jugoslaviji. Paralelno s karijerom pedagoga, novinara, dramaturga i brojnim funkcijama koje je obavljao u kulturnom životu Beograda i diplomatiji, Ivanji se bavio i književnošću i od rane mladosti objavljivao poeziju, prozu, eseje, bajke i drame.
Književni rad
Njegovim najznačajnijim delima smatra se romaneskna trilogija o rimskim carevima rođenim na južnoslovenskim prostorima Dioklecijan, Konstantin i Julijan, romaniČoveka nisu ubili, Na kraju ostaje reč, Preskakanje senke, Barbarosin Jevrejin u Srbiji, Guvernanta, Balerina i rat i Milijarder, kao i zbirke pripovedakaDruga strana večnosti i Poruka u boci. Svoja dela sam prevodi na nemački ili piše na nemačkom jeziku (Kaiser Konstantin, Kaiser Diokletian, Geister aus einer kleinen Stadt, Buchstaben von Feuer, autobiografski roman Mein schönes Leben in der Hölle i dr.). Objavio je i knjigu svojih sećanja Titov prevodilac, o vremenu kada je radio kao lični prevodilac predsednika SFR Jugoslavije.