1956 wurde er neuer Vorsitzender der United Party und damit Nachfolger von Jacobus Gideon Nel Strauss, der 1950 Smuts als Parteivorsitzender gefolgt war. Das Amt des Parteivorsitzenden bekleidete De Villiers Graaff bis 1977 und führte als solcher die Opposition gegen die von der Nationalen Partei gestellten Regierungen der Premierminister Johannes Gerhardus Strijdom, Hendrik Frensch Verwoerd und Balthazar Johannes Vorster. Während dieser Zeit sprach sich die UP zwar gegen die Apartheid als System aus, hielt jedoch an der Herrschaft der weißen Minderheit fest. In den späten 1960er Jahren gewann die Partei Unterstützung bei den Gegnern der NP.
1977 wurde die UP aufgelöst und als New Republic Party (Nieuwe Republiek Party) neugegründet. Graaff war noch kurze Zeit deren Übergangsvorsitzender, ehe er zurücktrat und auch sein Mandat in der Nationalversammlung niederlegte.
Nachfolger von De Villiers Graaff, der noch das Ende der Apartheidpolitik 1994 erleben konnte, als Baronet wurde sein Sohn Sir David Graaff, 3. Baronet (* 1940).
