До Першої світової війни Кох працював банківським клерком. Під час війни він був захоплений в полон британськими військами і містився в полоні до 1919 року.[6]
У 1930 році Кох вступив в НСДАП, а незабаром і в СС. У 1934 році він був призначений комендантом концтабору Ліхтенбург. Два роки по тому Коха перевели в Заксенгаузен. Незабаром він одружився з Ільзою Келер, з якою він був знайомий вже два роки і яка теж працювала в Заксенгаузені. У 1937 році Коха призначили комендантом щойно створеного табору Бухенвальд. Ільза переїхала разом з чоловіком і пізніше стала одним з наглядачів.
Карлу і, особливо, Ільзі Кох, яку часто називають «Бухенвальською відьмою» (нім. Die Hexe von Buchenwald), приписуються жорстокі вбивства і тортури ув'язнених. Існує легенда про те, що вдома у Кохів зберігалися абажури, виготовлені з людської шкіри, однак на післявоєнному процесі над Ільзою Кох достовірних доказів цього пред'явлено не було.[7]
У вересні 1941 року Кох став комендантом Майданека. Менш ніж через рік (24 серпня 1942) він був відсторонений від посади через підозри в корупції і присвоєння державного майна. У наступному році в рамках розслідування випадків корупції в СС Коху були пред'явлені звинувачення у вбивстві лікаря Вальтера Кремера і його помічника, які могли проговоритися, що лікували Коха від сифілісу. Справа вів суддя Георг Конрад Морген, який розслідував і інші злочини, скоєні посадовими особами в концтаборах. Ільза Кох звинувачувалася в привласненні великої суми, але була виправдана, а Карл Кох був визнаний винним у вбивстві і розстріляний 5 квітня 1945 року.