1943 wurde er leitender Mediziner (Chief Medical Officer des Manhattan Engineer District, MED) im Manhattan-Projekt im Rang eines Obersts (Colonel). General Leslie Groves wählte ihn nach landesweiter Suche vor allem wegen seines Rufs als Radiologe aus. Er ging zunächst nach Oak Ridge, wirkte aber auch in Chicago, Los Alamos, Hanford und anderen Orten. Er nahm am Trinity-Test teil, der Auswertung der Atombombenabwürfe auf Hiroshima und Nagasaki und der Operation Crossroads. In Hiroshima war er einer der ersten US-Offiziere und erhielt vom japanischen Stadtkommandanten dessen Schwert bei der formalen Übergabe. Er kam zu dem Schluss, dass die Reststrahlung in Hiroshima und Nagasaki kein großes Problem wäre und die Hauptschäden von der Gammastrahlung bei der Explosion kämen, wofür er später unter anderem von der Historikerin Eileen Welsome[1] kritisiert wurde, die ihm bewusste Verharmlosung der Fallout-Folgen vorwarf. Später vermied er es, über seine Erfahrungen in Hiroshima und Nagasaki zu sprechen, verteidigte aber die Notwendigkeit des Abwurfs. Bei Operation Crossroads war er für die Sicherheit des Personals zuständig, hatte aber Probleme, sich beim Militär durchzusetzen, das sein Personal leichtfertig Gefahren aussetzte, und drängte schließlich auf einen vorzeitigen Abbruch. Nach diesen für ihn negativen Erfahrungen warnte er auch öffentlich vor den Gefahren des Fallouts (so in einem Artikel im Life Magazine im August 1947). Sein Nachfolger beim MED, James Cooney, warf ihm deshalb Entfachung einer übertriebenen Hysterie in der Öffentlichkeit vor. Seine Befürchtungen fanden erst nach den Wasserstoffbombentests (Operation Castle) mit den dabei auftretenden Verstrahlungen größere Aufmerksamkeit, was schließlich zum Partial Test Ban Treaty führte.
