Jakob Kaiser was een boekbinder van beroep. Daarnaast was hij lid van de katholieke Zentrumspartei en actief binnen het katholieke vakbondswezen. Tijdens de Weimarrepubliek gold hij als dé christelijke vakbondsleider. Van 1924 tot 1933 was hij lid van het Uitvoerend Comité van de Christelijke Vakbonds Unie. Van mei1933 tot november1933 was hij voor de Zentrumspartei lid van de Rijksdag.
Verzetsstrijder
Na Hitlers machtsovername werden de vakbonden – behalve het nationaalsocialistische Deutsche Arbeitsfront – verboden. Hetzelfde lot trof ook de politieke partijen. Kaiser was een groot tegenstander van Hitler en het nationaalsocialisme. In 1934 sloot hij zich bij het georganiseerde verzet aan. In 1938 zat hij meerdere maanden gevangen vanwege zijn activiteiten. Na zijn vrijlating werkte hij nauw samen met de verzetsleider Carl Goerdeler (voormalig burgemeester van Leipzig). Hij was betrokken bij het juli-complot (de mislukte moordaanslag van Claus von Stauffenberg op Adolf Hitler). Kaiser dook na het mislukken van de aanslag op Hitler onder in Potsdam. Zijn vrouw, dochter en andere familieleden werden gedeporteerd naar concentratiekampBuchenwald (Sippenhaftung).
Medeoprichter Berlijnse CDU
Na de oorlog werd hij medeoprichter van de Berlijnse afdeling van de CDU (1945). Van 1945 tot 1946 was hij voorzitter van de CDU-Berlijn. In 1946 hielp hij mee de Vrije Duitse Vakbond (FDGB) op te richten en was lid van haar bondsbestuur en van het regiobestuur van de FDGB-Oost-Berlijn.
Kaiser behoorde tot de christen-socialisten binnen de CDU. Hij hoopte dat er een nieuwe orde, gebaseerd op de katholieke ethiek in Duitsland zou ontstaan. Hij geloofde dat de zware industrie gecontroleerd diende te worden door de overheid. Toch raakte hij al snel in conflict met de Sovjetautoriteiten in Oost-Duitsland, omdat hij een tegenstander was van de klassenstrijd en het marxisme.
Minister in het kabinet van Konrad Adenauer
Van 1946 tot december1947 was hij samen met Ernst Lemmer covoorzitter van de Oost-Duitse CDU. Op 5 en 6 februari1947 vond er, vooral op initiatief van Kaiser, te Ahlen een conferentie plaats waaraan alle CDU-afdelingen deelnamen. Op deze conferentie nam men een partijprogramma aan, waarin ook enkele linkse programmapunten waren opgenomen, dit overigens tot ergernis van Konrad Adenauer. In december 1947 werden Kaiser en Lemmer door de Sovjet-Russische bezettingsautoriteiten tot aftreden gedwongen. Kaiser en Lemmer vertrokken daarop naar West-Berlijn. Van 1946 tot 1949 was hij raadslid van Berlijn. Van 1948 tot 1958 was hij medewerker van de CDU-commissie Sociale Zaken.
Voorstander van een verenigd en neutraal Duitsland
Jakob Kaiser behoorde binnen de West-Duitse CDU tot de groep die naar een verenigd, neutraal en blokvrij Duitsland streefden dat goede betrekkingen zou onderhouden met het Oosten en het Westen.
Het Jakob-Kaiser-Haus maakt deel uit van de Bondsdag in Berlijn.