Après la mort de sa mère au début de son adolescence, il est élevé par ses grands-parents.
Diplômé en droit, il s'inscrit au barreau en 1937 et travaille entre 1938 et 1942 sous le mandat du procureur Thomas Dewey à poursuivre le crime organisé dans la ville de New York.
En 1950, il entre au conseil d'administration de la firme juridique « Dwight, Royall, Harris, Koegel & Caskey » plus tard rebaptisé « Rogers & Wells » puis « Clifford Chance Rogers & Wells » (il va travailler dans ce cabinet jusqu'à sa mort).
Du au , il est secrétaire d'État (ministre des Affaires étrangères) du président Richard Nixon mais il va être dépassé par le rôle et l'importance pris par le conseiller à la Sécurité nationale, Henry Kissinger.
En 1986, il est le président de Commission présidentielle sur la navette spatiale Challenger, souvent appelée commission Rogers, chargée de l'enquête sur l'explosion de la navette Challenger dont le rapport va être sans pitié pour la direction de la NASA, pointant alors toutes ses négligences.