Петковић је играчку каријеру почео у книнском лигашу Динари. У 19. години је дошао у Београд где је постао играч ОФК Београда за који је играо укупно 16 сезона, најпре од 1964. до 1973. године, а затим и од 1976. до 1983. У сезони 1965/66. са ОФК Београдом је освојио Купу Југославије. За ОФК Београд је одиграо 417 утакмица и постигао 68 голова. Због његове брзине и експлозивности звали су га „тајфун са Карабурме”.
Петковић је три године, од 1973. до 1976, играо за француски Троа.
Репрезентативна каријера
Петковић и италијански бек Ђачинто Факети пред финале Европског првенства 1968. године
За селекцију Југославије је играо од 1968. до 1974. године. У том периоду репрезентативни дрес је облачио 43 пута и постигао шест голова.
За репрезентацију је дебитовао 24. априла1968. на стадиону Црвене звезде. Југославија је била домаћин Француској у реванш сусрету четвртфинала Купа нација. У првој утакмици, одиграној 18 дана раније у Марсељу, било је 1:1. Илији Петковићу је требало три минута да постигне и први гол. Други пут међу стрелце се уписао у 33. минуту. На крају, Југославија је победила Француску 5:1.
Та победа је донела Југословенима пласман на завршни део Купа нација, који је одржан у јуну те године у Италији. На завршном турниру су у полуфиналу победили Енглеску са 1:0 голом Џајића чиме су се пласирали у финале. Резултат финала против домаће селекције је био 1:1 па је по тадашњим правилима одиграна нова утакмица коју су Италијани добили са 2:0. У тој утакмици Петковић није играо због повреде.
Петковић је учествовао у репрезентацији која се пласирала на Светско првенство у фудбалу 1974. победивши у бараж мечу репрезентацију Шпаније. Играо је на већини утакмица и постигао је осми погодак у победи против Заира од 9:0. На том првенству је и завршио репрезентативну каријеру. Посљедњу утакмицу је одиграо против Пољске у поразу 2:1. Репрезентације је првенство окончала у другој групној фази.
Тренерска каријера
Каријеру спортског радника Петковић је почео као спортски директор ОФК Београда. Касније, у периоду од 1991. до 1993. године био је и тренер екипе у којој је провео највећи дио своје играчке каријере.
У међувремену, Петковић је био тренер у штабу омладинске репрезентације Југославије која је 1987. године у Чилеу постала првак света.
Петковић је предводио и Медитеранску репрезентацију као и Војни тим ког су чинили фудбалери на редовном одслужењу војног рока.
Интернационалну тренерску каријеру Илија Петковић је почео 1993. године у швајцарскомСервету. Тим из Женеве је тренирао две године. У сезони 1993/94. освојио је шампионску титулу.
Илија Петковић је током 1997. и 1998. године био тренер у штабу репрезентације коју је тада водио Слободан Сантрач, његов дугогодишњи саиграч у ОФК Београду. „Плави” су се пласирали на Светско првенство у Француској, али Петковић није био учесник такмичења у Француској, јер је прихватио позив јапанског прволигаша Ависпе из Фукуоке.
У Јапану је Петковић оставио добар утисак, што је условило каснијим позивима у редове комшијских кинеских прволигаша – Шенхуа и Сечуану.
Илија Петковић је у два наврата био селектор националног тима. Први пут је радио од јула 2000. до фебруара 2001. године. У том раздобљу „плави” су остварили победу у првој утакмици Прве групе квалификација за Светско првенство 2002. године, а савладан је Луксембург у гостима. Такође, национални тим Југославије у јануару 2001. освојио је прво место на „Сахара купу“ одржаном у Индији.
После тог турнира, Петковић је отишао у Кину. У Фудбалски савез, на место селектора, вратио се крајем јула 2003. године. Био је то изузетно тежак тренутак за домаћи фудбал јер је само месец раније репрезентација поражена од Азербејџана у Бакуу са 2:1 у утакмици квалификација за Европско првенство 2004.
Под Петковићевим руководством су у наставку квалификација забележене две победе над Велсом и реми против Италије који нису били довољни да се обезбеди пласман на континентално првенство.
Петковић је остао на месту селектора и на почетку наредних квалификација за Светско првенство 2006.[1] Квалификације су успешно окончане, а током 10 квалификационих мечева није забележен ниједан пораз, а примљен је само један гол.
У тим за Светско првенство је након повреде Мирка Вучинића позвао сина Душана па га је под притиском медија на крају изоставио са списка. Репрезентација Србије и Црне Горе је првенство у Немачкој 2006. завршила као последња, на 32. месту, забележивши поразе од Холандије, 1:0, Аргентине, 6:0 и Обале Слоноваче, 3:2.
Наставак каријере у Азији
Петковић није обновио уговор са националним савезом по завршетку Светског првенства па је остао без ангажмана. Након паузе од две и по године, почетком 2009. године, Петковић се вратио у Азију и преузео корејског прволигаша Инчон јунајтед с којим је освојио пето мјесто у првенству. Након Јужне Кореје Петковић је у јулу 2010. преузео катарскиАл Ахли који је водио до краја те године. Након нове паузе и различитих нагађања о новим ангажманима, Петковић је преузео корејски Гјонгнам у мају 2013.[2]
