En 1976, DeConcini est candidat au Sénat des États-Unis pour succéder au républicain Paul Fannin. Dans un État conservateur, il met en avant son expérience de procureur[2] et se présente comme un démocrate « dur avec le crime »[3]. Profitant des divisions du Parti républicain, il est élu sénateur face au représentant Sam Steiger(en)[2],[3]. Il est réélu en 1982 et 1988[1].
Durant son mandat, DeConcini est considéré comme un démocrate modéré, conservateur sur les questions fiscales et opposé à l'avortement[4]. De 1993 à 1995, il préside la commission sénatoriale sur le renseignement[1]. Il siège également au sein du conseil consultatif de la Victims of Communism Memorial Foundation[5].
En 1991, la commission d'éthique du Sénat désapprouve publiquement son implication dans le scandale du Keating FiveKeating Five. Critiqué à gauche pour sa confirmation de Clarence Thomas et à droite pour son vote en faveur du budget de Bill Clinton, DeConcini renonce à se représenter lors des élections de 1994[4]. Le républicain Jon Kyl lui succède au Sénat.