1983 wurde er Mitglied im Ständigen Ausschuss des Shanghaier Stadtparteikomitees und 1984 Generalsekretär des Stadtparteikomitees. 1985 war er stellvertretender Parteisekretär von Shanghai und 1986 stellvertretender Bürgermeister. 1987 wirkte Huang als Vorsitzender des Shanghaier Komitees für Sicherheit in der Produktion. 1990 war er Leiter der Führungsgruppe für die Entwicklung und Planung von Pudong. 1991 wurde er Bürgermeister von Shanghai und 1994 Parteichef der Stadt. Ab 1995 war Huang Mitglied des Politbüro der Kommunistischen Partei Chinas, ab 2002 als Mitglied des ständigen Ausschusses.
Huang Ju wurde wie Wu Bangguo der Shanghai Clique zugeordnet und galt wie dieser als persönlicher Gefolgsmann Jiang Zemins aus dessen Zeit in Shanghai. Kritik wurde laut, als seine Tochter, Huang Fan (黄凡), in San Francisco den Sohn eines pro-taiwanischen Zeitungsmannes heiratete.