1858 nominerade president James Buchanan Clifford till USA:s högsta domstol. Utnämningen konfirmerades av USA:s senat med rösterna 26-23. Många senatorer var misstänksamma mot demokraten Clifford, som var en anhängare av slaveriet. Som domare i högsta domstolen tjänstgjorde han i 23 år fram till sin död.
Clifford var ordförande för valkommissionen som 1877 avgjorde 1876 års kontroversiella presidentval. RepublikanenRutherford B. Hayes vann i kommissionen med en rösts marginal, trots att Clifford själv röstade på demokraten Samuel J. Tilden.
