1998-ban a PSV Eindhoven ifjúsági edzője lett. 2001 októberében Eric Gerets mellé került, ahol segédedző volt, a 2004/05-ös szezontól az RKC Waalwijk vezetőedzője lett. Az RKC-nál egy idényt töltött el, majd a Feyenoordhoz ment. 2006 márciusában meghosszabbította a szerződését 2009 nyaráig.
2007. május 3-án Koeman bejelentette az azonnali lemondását motivációs problémák miatt egy nehéz szezont követően. A Feyenoord a 7. helyen végzett a holland Eredivisieben.
2008. május 1-jétől kezdődően Koeman a magyar labdarúgó-válogatott szövetségi kapitánya lett. Az új kapitány debütáló meccsén a magyarok 3-2-re legyőzték az Európa-bajnok görögöket. Irányítása alatt a csapat nem jutott ki a 2010-es labdarúgó-világbajnokságra. Ezt követően, a németektől, illetve a hollandoktól (barátságos mérkőzéseken) elszenvedett nagy arányú vereségek után (0–3, illetve 1–6) felmerült leváltásának lehetősége. Koeman a következőket nyilatkozta:[1]
„
Aláírom, a három- és ötgólos különbség bántó, de arra azért felhívnám a figyelmet, hogy Joachim Löw csapata Angliát négy egyre, Argentínát pedig négy nullára verte meg, miközben az oranje hat győzelemmel a háta mögött várja a döntőt. Amszterdamban ötvenöt percig jól futballoztunk, aztán beállt Arjen Robben, és egy csapásra minden megváltozott. A hollandok szárnyalni kezdtek, mi meg összezuhantunk.
”
Eredménytelensége és sikertelensége mellett sokan bírálták Gera Zoltán mellőzése miatt is, akit nem tartott elég jónak a csapatban való szerepléshez. Annak ellenére, hogy Gerának döntő szerepe volt abban, hogy a Fulham bejutott a 2009–2010-es Európa-liga döntőjébe, csapatánál pedig megválasztották az év játékosának. Koeman véleményével sem a szaksajtó (Szöllősi György, a Four Four Two Magazin magyar kiadásának főszerkesztője), sem a szakemberek nem értettek egyet. Szalai László a Magyar Futball Akadémia igazgatója, Nyilasi Tibor és Puhl Sándor egyaránt méltatta Gera tehetségét és érdemeit.[2][3][4]
2014. június 16-án az angol élvonalbeli Southampton csapatánál lett másodedző, ahol testvére, Ronald munkáját segítette.[8]
2016. június 17-én testvérével tartott az Evertonhoz, itt újabb másfél évig dolgoztak együtt.[9]
2018 augusztusában Phillip Cocu segítője lett a török Fenerbahçe SK csapatánál.[10] Cocu távozását követően kilenc mérkőzésen megbízott edzőként irányította a török csapatot.[11] 2019 februárjában honfitársát, Pim Verbeeket váltva lett az ománi válogatott szövetségi kapitánya.[12] A címvédő ománi csapat nem jutott tovább csoportjából a 2019-es Öböl-kupán, ezért decemberben menesztették posztjáról.[13]
2021 júniusában az izraeli Bétár Jerusálajim vezetőedzője lett.[14] 6 hónappal később azonban a gyenge eredmények miatt innen is elküldték.