Hermann wurde 1885 als Sohn des Gärtners Lorenz Hermann und dessen Frau Katharine Herbst in Unkeroda im damaligen Großherzogtum Sachsen-Weimar-Eisenach geboren. Nach Besuch der Volksschule in Unkeroda und der Gewerbeschule in Eisenach erlernte er das Maurerhandwerk. Nach der üblichen Wanderschaft (1903) arbeitete er zunächst in seinem Beruf und ab 1910 als Expedient bei der SPD-Zeitung Thüringer Tribüne. 1911 wurde er Gewerkschaftssekretär, 1912 Geschäftsführer des Bauarbeiterverbandes in Eisenach. Von 1912 bis 1914 war er erstmals Mitglied der Eisenacher Stadtverordnetenversammlung, der er erneut von 1919 bis 1921 angehörte. 1915 zum Kriegsdienst eingezogen, kam er im Mai in Galizien in russische Gefangenschaft. Nach seiner Rückkehr 1918 wurde er Vorsitzender des Eisenacher Arbeiter- und Soldatenrates. 1919/20 gehörte er für die Unabhängige Sozialdemokratische Partei Deutschlands (USPD) dem Landtag von Sachsen-Weimar-Eisenach an. Außerdem war er Redakteur der 1919 gegründeten Eisenacher Volkszeitung und 1921 deren Schriftleiter.
Nach Gründung des Landes Thüringen war er von 1920 bis 1933 dort Landtagsabgeordneter und von Oktober 1921 bis Dezember 1923 (geschäftsführend bis Februar 1924) Innenminister und Stellvertreter des Leitenden Staatsministers in den SPD/USPD- und SPD/KPD-Landesregierungen (Kabinett Frölich I und II). In dieser Funktion war er Mitverfasser der ersten Thüringer Kommunalordnung. Zudem war er der Bevollmächtigte des Landes Thüringen beim Reichsrat. Hermann gehörte zu den USPD-Mitgliedern, die sich 1922 wieder mit der Mehrheits-SPD vereinigten. Die rechte Nachfolgeregierung warf ihm verschiedene Dienstvergehen vor, er gewann aber alle diesbezüglichen Prozesse.[1] 1925 wurde er Leiter des kommunalpolitischen Sekretariats des SPD-Bezirks Groß-Thüringen. Von 1926 bis 1933 arbeitete er als Bezirksleiter des gewerkschaftsnahen Verbandes sozialer Baubetriebe Mitteldeutschland. Von 1928 bis 1930 war er Reichstagsabgeordneter.
In der Zeit des Nationalsozialismus musste er sich aus der Politik zurückziehen, er arbeitete 1933–1939 als Maurerpolier und anschließend bis 1944 als Angestellter der Maschinenfabrik Gebr. Röber in Wutha, wo er seit 1934 seinen Hauptwohnsitz hatte. Nach 1933 wurde Karl Hermann wegen Widerstandsarbeit mehrfach verhaftet, 1944 kam er in die KZ Ravensbrück und Sachsenhausen. Auf dem Todesmarsch zur Evakuierung des Lagers im April 1945 gelang ihm die Flucht.
Die sowjetische Besatzungsmacht setzte ihn im Juli 1945 als Oberbürgermeister in Eisenach ein. Durch die Zwangsvereinigung von SPD und KPD wurde er im April 1946 SED-Mitglied. Im Oktober 1946 wechselte er als Ministerialrat ins Thüringer Innenministerium, wo er zunächst Abteilungsleiter im Landesamt für Kommunalwesen war und dann die Landesbauverwaltung leitete. Außerdem gehörte er der Beratenden Landesversammlung und dann von 1946 bis 1950 erneut dem Thüringer Landtag an. Dort war er Vorsitzender des Rechts- und Verfassungsausschusses und in dieser Funktion maßgeblich an der Ausarbeitung der Landesverfassung beteiligt. Von 1948 bis 1951 war er Oberbürgermeister in Mühlhausen. Danach zog er sich, offiziell nach „langer, schwerer Krankheit“, resigniert aus allen Ämtern zurück.
Hermann war zweimal verheiratet, zunächst ab 1903 mit Anna Pabst und nach deren Tod 1938 mit Elise Schmidt. Er starb 1973 in Eisenach.
Martin Schumacher, Katharina Lübbe, Wilhelm Heinz Schröder: M.d.R. Die Reichstagsabgeordneten der Weimarer Republik in der Zeit des Nationalsozialismus. politische Verfolgung, Emigration und Ausbürgerung, 1933–1945. Eine biographische Dokumentation. 3. Auflage. Droste, Düsseldorf 1994, ISBN 3-7700-5183-1.
Julia Hörath: Karl Hermann. Eine politische Biographie. Diplomarbeit, Berlin 2005.
Bernhard Post, Volker Mahl, Dieter Marek: Thüringen-Handbuch. Territorium, Verfassung, Parlament, Regierung und Verwaltung in Thüringen 1920 bis 1995. Verlag Hermann Böhlaus Nachfolger, Weimar 1999, ISBN 3-7400-0962-4. S. 590.