Powell New Yorkban született; jamaicai bevándorlók gyermeke. 1954-ben végezte el a középiskolát, majd geológiát tanult a City College of New York egyetemen. Részt vett az egyetem tartalékostiszt-képző programjában, ahol jól teljesített, és így miután végzett, katonai pályára lépett. 1958-ban hadnagyi rangban a hadsereg kötelékébe lépett.
Katonatisztként
Kezdetben Massachusettsben szolgált, majd 1962-ben Dél-Vietnámba vezényelték. 1963-ban a laoszi határon járőrözve megsebesült. Szolgálatáért kitüntetésben részesült.
1968–69-ben ismét Vietnámba vezényelték, ekkor már őrnagyi rangban. Itt részt vett a Mỹ Lai-i mészárlás kivizsgálásában. Jelentésében azt írta, „az amerikai katonák és a vietnámi polgári lakosság közti kapcsolatok kiválóak”.
Powell Vietnámban megsérült egy helikopterbalesetben, de ennek ellenére sikerült kimentenie több társát az égő roncsból, amiért ismét kitüntették.
Az 1970-es évek elején MBA fokozatot szerzett a washingtoni George Washington Egyetemen, majd 1972-ben fehér házi ösztöndíjjal a Nixon-kormányzatban dolgozott.
1973-ban – immár ezredesi rangban – Koreában szolgált zászlóaljparancsnoki beosztásban. Ezután a Pentagonban dolgozott, és 1975–76-ban a washingtoni National War College nevű, főtisztek képzésére szakosodott felsőoktatási intézményben tanult.
Tábornokként
1976-ban kapta meg a dandártábornoki rendfokozatot. Kinevezték a 101. légi szállítású hadosztály 2. dandárjának parancsnokává.
Amikor 1977 januárjában Jimmy Carter lett az elnök, Powell a hadügyminisztériumban illetve az atomfegyverek gyártásáért is felelős energiaügyi minisztériumban dolgozott. Miután 1981-ben a Cartert Ronald Reagan váltotta föl az elnöki székben, Powellt vezérőrnaggyá léptették elő, és Caspar Weinberger hadügyminiszter jobbkezeként ő koordinálta Grenada megszállását 1983-ban és Líbia bombázását 1986-ban.
1986-ban altábornaggyá léptették elő, majd 1987-ben kinevezték Reagan elnök nemzetbiztonsági főtanácsadójává. Ezen a posztján fontos szerepe volt a Gorbacsovszovjet elnökkel tartott csúcstalálkozók előkészítésében, valamint a Reagan-kormányzat másik nagy kommunistaellenes projektjében, a Daniel Ortega vezette nicaraguaisandinista kormány megbuktatására irányuló akcióban.
1989-ben, miután Reagant az addigi alelnök, George H. W. Bush követte a Fehér Házban, Powellt tábornokká léptették elő, majd 1989 októberében az elnök őt nevezte ki a fegyveres erők egyesített vezérkari főnökévé. Powell volt az első afroamerikai katonatiszt ebben a pozícióban. Bill Clinton elnökségének első néhány hónapjában még ellátta a hadsereg-főparancsnoki teendőket, majd 1993-ban nyugállományba vonult.
Civil pályafutás, nyugállomány
Nyugállományú éveiben is aktív maradt: 1994-ben Jimmy Carter volt elnökkel és Sam Nunn szenátorral együtt részt vett abban a tárgyalódelegációban, amely segített Haitiban helyreállítani a demokráciát az 1991-es államcsíny után. Nagy sikerű memoárt írt My American Journey (Amerikai utam) címmel, és feleségével Almával együtt America's Promise (Amerika Ígérete) néven tehetséggondozó alapítványt indított.
2001-ben, miután George W. Bush elnök hatalomra került, Powell visszatért az aktív közéletbe és (a Szenátus egyhangú támogatásával) külügyminiszter lett. Ebben a tisztségében jelentős szerepe volt az iraki háború kirobbantásában. Hírhedtté vált 2003-as beszámolója az ENSZ Biztonsági Tanácsa előtt, amelyben tömegpusztító fegyverek birtoklásával vádolta Szaddám Huszeint. Miután az Egyesült Államok és szövetségesei megszállták Irakot, világossá vált, hogy a tömegpusztító fegyverek nem léteznek, és Powell 2004-ben lemondott.
Másodszori nyugalomba vonulása után is aktív maradt a közéletben. Dacára annak, hogy korábban republikánus volt, 2008-ban a demokrataBarack Obama megválasztására hívta föl az amerikai szavazókat.
2021. október 18-án hunyt el Covid19-megbetegedésben.[16]