Williams efterträdde 1959 Howard Alexander Smith som senator för New Jersey. Han omvaldes 1964, 1970 och 1976. I operationen Abscam låtsades FBI-agenter att de var förmögna araber och erbjöd mutor åt politiker. Williams dömdes för mutbrott och han avgick 1982 som senator innan senaten hann rösta om att avskeda honom. Han avtjänade sitt fängelsestraff i ett federalt fängelse och frigavs i januari1986. Williams medgav att han led av alkoholism under sina sista år i senaten.