Er diente auf den Zerstörern John W. Weeks (DD-701) und Gearing (DD-710). Im Rang eines Lieutenants kommandierte er anschließend die Grand Rapids (PG-98). Des Weiteren kommandierte er die McCloy und Spruance, das Anti-U-Bootkriegsführungszentrum, die Destroyer Squadron 7 und die Destroyer Squadron 5. Nach der Auswahl für den Posten eines Flaggoffiziers kommandierte der Admiral die Trägergruppe der Carl Vinson, Destroyer Squadron 2, die 2. US-Flotte und die US-Atlantikflotte.
Clark wurde am 21. Juli 2000 zum 27. Chief of Naval Operations (CNO) der US Navy ernannt und hatte diesen Posten bis zum 22. Juli 2005 inne. Er war damit der am längsten im Amt befindliche CNO seit Admiral Arleigh Burke. Sein Nachfolger wurde Admiral Michael G. Mullen. Clark formulierte unter anderem eine neue Einsatzdoktrin namens Sea Power 21.