Han begyndte sit politiske engangement i 1940 som medlem af NSDAP, men var allerede i 1933 blevet medlem af den nazistiskeparamilitære organisation Sturmabteilung. Under 2. verdenskrig fra 1939 til 1945 var han medlem af en antiluftskytsenhed, og var ved krigens afslutning avanceret til andenløjtnant. Efter krigen blev han advokat i Bremen og meldte sig i 1955 ind i CDU. I juli 1960 blev han statssekretær i Udenrigsministeriet og blev samme år udnævnt til professor i offentlig og international ret ved Universität zu Köln. Under den store koalition 1966-1969 var han statssekretær i forsvarsministeriet og fra 1968 leder af Bundeskanzleramt.
I 1972 blev Karl Carstens valgt til Bundestag, hvor han sad frem til 1979. Fra maj 1973 til oktober 1976 var han gruppeformand for CDU/CSU's gruppe. Han var i denne periode ihærdig kritiker af vensteorienterede tendenser i det tyske samfund og angreb særligt SPD for at være for bløde i forhold til venstrefløjsekstremister. Han mente i den sammenhæng, at forfatteren Heinrich Böll støttede venstreorienteret terrorisme, herunder særligt Rote Armee Fraktion. I december 1976 blev Carstens valgt til præsident for Bundestag.
