Im Anschluss begann er 1958 seine berufliche Laufbahn beim 1953 gegründeten Landwirtschaftsentwicklungsrat (Agricultural Development Council), war dort zunächst bis 1964 tätig und übernahm zwischenzeitlich Anfang der 1960er Jahre auch eine Tätigkeit als Gastprofessor für Wirtschaftswissenschaften an der Universität Malaya.
1970 nahm er den Ruf auf eine Professur für Wirtschaft an der Michigan State University an und übte diese Lehrtätigkeit bis 1978 aus. Zugleich war er während dieser Zeit als Nachfolger von Walter Adams auch Präsident der Michigan State University. Zugleich wurde er 1970 Trustee der Rockefeller-Stiftung und übte diese Funktion bis 1987 aus. Darüber hinaus war er von 1976 bis 1983 Vorsitzender der Behörde für internationale Ernährungs- und Landwirtschaftsentwicklung im US-Außenministerium.
Nach Beendigung seiner Tätigkeit an der Michigan State University wurde Wharton 1978 Kanzler der State University of New York und bekleidete dieses Amt bis 1987.[2] Daneben war er nicht nur von 1978 bis 1980 Mitglied der US-Kommission zum Welthunger, sondern wurde 1983 auch Co-Vorsitzender der US-Kommission für Sicherheits- und Wirtschaftsunterstützung. Außerdem war er zwischen 1982 und 1987 Vorsitzender des Treuhandrates der Rockefeller-Stiftung.
CEO von TIAA-CREF und Vizeaußenminister
1987 wurde Wharton Chief Executive Officer (CEO) von Teachers Insurance and Annuity Association – College Retirement Equities Fund (TIAA-CREF), dem führenden US-amerikanischen Pensionsfonds für Beschäftigte an Hochschulen, Schulen, Forschungs- und Kultureinrichtungen. Mit ihm wurde damit erstmals ein Afroamerikaner CEO eines im Fortune Global 500 notierten Unternehmens.
Nachdem er 1993 seine Tätigkeit bei TIAA-CREF beendet hatte, war er vom 27. Januar bis zum 8. November 1993 stellvertretender Außenminister (US Deputy Secretary of State) in der Regierung von PräsidentBill Clinton.
