Nel 1962 Annan cominciò a lavorare per l'Organizzazione mondiale della sanità. Dal 1974 al 1976 fu direttore del turismo in Ghana. In seguito tornò alle Nazioni Unite e lavorò come assistente segretario generale, ricoprendo in successione diversi ruoli: responsabile delle risorse umane e coordinatore della sicurezza dal 1987 al 1990, pianificatore e controllore dei programmi di bilancio e finanza dal 1990 al 1992, e responsabile delle operazioni di pacificazione dal marzo 1993 fino al febbraio 1994.
Annan divenne poi sottosegretario generale fino all'ottobre 1995, quando fu nominato incaricato speciale del segretario per la ex-Jugoslavia. Dopo cinque mesi tornò al suo ruolo di sottosegretario generale. Gestì con successo le trattative con l'Iraq per il rilascio di 900 dipendenti dell'ONU rimasti bloccati nel Paese all'inizio della guerra, ma è stato poi accusato d'inazione in riferimento agli eventi in Ruanda e Bosnia ed Erzegovina[1].
Il suo mandato cominciò ufficialmente il 1º gennaio 1997. Sostituì il segretario generale uscente, l'egiziano Boutros Boutros-Ghali, divenendo il primo segretario generale africano nero dell'ONU. Il rinnovo del suo mandato, avvenuto il 1º gennaio 2002, fu inconsueto; secondo le norme informali la posizione viene ricoperta da persone di continenti diversi a rotazione (ed anche il suo predecessore era stato un africano).
Si dedicò al progetto di riforma delle Nazioni Unite[2], che comprendeva: una ridefinizione della sicurezza collettiva; il rafforzamento dei trattati di non proliferazione e di disarmo e l'estensione del sistema di sicurezza convenzionale a nuove tematiche (es. biotecnologia); la creazione di organi intergovernativi di costruzione della pace e difesa dei diritti umani; l'espansione e la modifica delle funzioni del Consiglio di sicurezza dell'ONU; nuove norme per governare l'uso della forza da parte degli Stati membri e su autorizzazione del Consiglio di sicurezza; una nuova regolamentazione che legalizzasse l'intervento umanitario; un nuovo impegno nella costruzione della pace, nella mediazione dei conflitti, nel controterrorismo, nella lotta alla povertà e alle malattie; il miglioramento della capacità decisionale degli organi delle Nazioni Unite. Benché vi siano stati vari rapporti (su questi temi) rassegnati dal segretario generale agli Stati membri, non tutti hanno avuto un seguito operativo.
Il 10 dicembre 2001, Annan e le Nazioni Unite ricevettero il premio Nobel per la pace per il loro lavoro "per un mondo meglio organizzato e con più pace"[3]. Nel 2003 Annan diffidò gli Stati Uniti e il Regno Unito dall'invadere l'Iraq senza l'appoggio dell'ONU. Nel dicembre 2004, il senatore repubblicano statunitense Norm Coleman chiese le dimissioni di Annan dopo il coinvolgimento di suo figlio in un caso di pagamenti illegali, nell'ambito del programma Oil-for-food.
Il 9 ottobre 2006 il Consiglio di sicurezza ONU designa come suo successore il sudcoreanoBan Ki-moon. Quasi per acclamazione, il 13 ottobre l'assemblea approva la nomina di quest'ultimo. Il 24 febbraio 2012 è stato nominato inviato speciale delle Nazioni Unite e della Lega araba in Siria a seguito delle rivolte scoppiate nel Paese[4]. Tuttavia, constatate le eccessive divisioni all'interno dell'ONU circa l'atteggiamento da tenere verso il governo siriano, il 2 agosto 2012 ha rinunciato all'incarico[5].
Morì in Svizzera nel 2018, dopo una breve malattia; ebbe funerali di Stato.[6]
«Per la sua statura politica eccezionale nella leadership delle Nazioni Unite e per il contributo alla pace nel continente africano e nel mondo.» — 16 giugno 2004[11]