New Yorkban született, majd négyéves korában családjával Los Angelesbe költözött. Kiváló tanuló volt. A Kaliforniai Egyetemen végzett 1943-ban, fizika szakon. Az egyetem után a bevonult katonának, a hadsereg pedig a Massachusetts Institute of Technologyra küldte, hogy matematikát és fizikát tanuljon. 1944-ben a Manhattan terv keretében az atombomba fejlesztésén kezdett dolgozni. Részt vett a Nagaszakira ledobott bomba tervezésében.[4]
1947-ben a RAND-nál helyezkedett el, és a Lawrence Livermore Nemzeti Laboratóriumban dolgozott tanácsadóként. 1958-ban itt fejlesztette ki a neutronbombát: egy olyan nukleáris eszközt, amely viszonylag kis hőt és kinetikus energiát ad le, viszont nagyon intenzív a neutronkibocsátása, aminek az a következménye, hogy a bomba kis anyagi kár okozása mellett nagy pusztítást okoz az élőlények körében, és például el tudja pusztítani egy város lakóit úgy, hogy közben maga a város csekély kárt szenved.[4]
A bombát sikerrel tesztelték, és az 1980-as években az egyesült államok le is gyártott ötszáz eszközt, de George H. W. Bush elnöksége alatt kivonták őket a hadrendből.[4]
Cohen 1969-ben távozott a RAND-tól, és a neutronbomba hadrendbe állítása mellett érvelő cikkeket és könyveket írt.[4]
Szülei, Lazarus és Jenny Cohen ausztriai zsidók voltak, akik először Nagy-Britanniába, később az Egyesült Államokba emigráltak. Kétszer házasodott. Első feleségével Barbara Bissell-lel való házassága 1948-tól 1952-ig tartott és válással végződött. 1960-ban vette feleségül Margaret Munnemannt, akivel élete végéig házasságban élt. Három gyermekük született: Carla, Paul és Thomas.[4]