I 1934 begynte Sack i den nyetablerte Reichskriegsgericht (Rikskrigsretten) der han raskt steg opp til en ledende stilling. Han var i stand til å utsette saken mot kommanderende offiser i Hæren, Werner von Fritsch som feilaktig hadde blitt anklaget for homoseksualitet av Gestapo i et forsøk på å diskreditere ham for hans motstand mot Hitlers forsøk på å underlegge seg de tyske væpnede styrker. Høsten 1942 ble Karl Sack Generaladvokat og dommer i Hæren.
Minneplakett for Karl Sack på tidligere Reichskriegsgericht i Berlin
Under andre verdenskrig opprettholdt Sack kontakter innenfor motstandskrester blant militære, deriblant admiral Wilhelm Canaris, generalmajor Hans Oster og Hans von Dohnanyi, så vel som andre med andre innenfor Abwehr (den tyske militæretterretning). Han deltok i forsøket på å drepe Hitler den 20. juli (20. juli-attentatet), og etter det mislykkede forsøket ble han arrestert den 9. august 1944.
I de aller siste dagene av krigen ble han dømt av en hastig sammentrommet SS-krigsrett, presedert over av Otto Thorbeck. Han ble dømt til døden og hengt to dager senere. Sack var påtenkt til rollen som justisminister i en planlagt etterkrigs sivil regjering.
I 1984 ble Sacks rolle som medlem av motstanden minnet med en bronseplakett, plassert i det tidligere Reichskriegsgericht i Berlin-Charlottenburg. Det var noe motstand mot denne æresbevisning, fordi Sack favoriserte en videre tolkning av hva som var desertering, som må ha ført til mer enn et par dødsdommer.
I Bosenheim, en forstad av Bad Kreuznach er en gate blitt navngitt til hans minne.
