Jay bol prvým predsedom Najvyššieho súdu Spojených štátov od roku 1789 do 1795. V roku 1794 dohodol tzv. Jayovu zmluvu s Britmi. Ako vodca novej Strany federalistov bol zvolený do úradu guvernéra štátu New York, ktorý zastával v rokoch 1795-1801. Bol popredným odporcom otroctva a obchodu s otrokmi v New Yorku. Prvý pokus o schválenie emancipačných zákonov v roku 1777 mu nevyšiel, uspel však roku 1799, keď podpísal zákon, ktorý nakoniec oslobodil otrokov v New Yorku.
Znovu bol menovaný predsedom Najvyššieho súdu USA 18. decembra 1800, ale menovanie odmietol a v 55 rokoch opustil politiku.