Nach seiner Rückkehr in die Vereinigten Staaten trat er 1950 in die New Yorker Kanzlei Patterson, Belknap, Webb & Tyler ein, für die er bis 1977 tätig war. 1958 trat Irwin in Staatsdienste und wurde Unterstaatssekretär (Deputy Assistant Secretary) für internationale Sicherheitsfragen im Verteidigungsministerium, was er bis 1961 blieb. Zwischen 1965 und 1968 nahm er als Bundesbeauftragter an Verhandlungen zu Fragen des Panamakanals teil; 1969 wurde er als Sondergesandter des Außenministeriums nach Peru geschickt. Von 1970 bis 1972 hatte er das Amt des United States Under Secretary of State inne, das zu diesem Zeitpunkt die zweithöchste Position im State Department darstellte. Diesen Rang behielt er auch nach Einrichtung des Deputy Secretary of State im Jahr 1972. Er fungierte bis zum 1. Februar 1973 als Stellvertreter von Außenminister William P. Rogers, ehe ihn Kenneth Rush ablöste. Für seine Verdienste zeichnete ihn PräsidentRichard Nixon mit der Presidential Medal of Freedom aus; später erhielt auch noch die französische Légion d’honneur.
Von 1973 bis 1974 übte John Irwin das Amt des US-Botschafters in Frankreich aus; danach verabschiedete er sich aus dem Staatsdienst. Er gehörte in der Folge noch dem Vorstand von IBM an, war bis 1987 Kuratoriumsmitglied des Metropolitan Museum of Art und wirkte ab 1989 im Leitungsgremium des American Museum of Natural History mit. Im Vorfeld der Präsidentschaftswahl 2000 gehörte er zum Beraterstab von Steve Forbes; später unterstützte er die Kandidatur von George W. Bush. Noch vor der Wahl verstarb er 86-jährig in einem Krankenhaus in New Haven; zuletzt hatte er mit seiner zweiten Ehefrau in New Canaan gelebt; mit seiner ersten Frau, die 1970 verstorben war, hatte er eine Tochter und einen Sohn.
