З 1974 по 1979 рік був одним з керівних членів молодіжної організації «Нова демократія». У 1984—1989 рр. займався виключно юридичною практикою. У червні 1989 року вперше обирається до парламенту від виборчого округу м. Салоніки від партії «Нова демократія». Того ж року обійняв посаду секретаря президії парламенту, а також секретаря «Нової демократії».
21 березня1997 року проголошений лідером партії «Нова демократія». 7 березня2004 року Костас Караманліс на чолі партії переміг на парламентських виборах та отримав мандат на формування уряду. Від 10 березня2004 року до 5 жовтня2009 року обіймав посаду прем'єр-міністра Греції, програвши на дострокових виборах лідерові ПАСОКЙоргосу Папандреу. На загальних виборах 2007 року Караманліс був переобраний зі зменшеною більшістю голосів після грецьких лісових пожеж 2007 року, які спустошили більшу частину західного Пелопоннесу та південної Евбеї. Він пообіцяв продовжити свою програму реформ та приватизації, а також сформувати новий кабінет. 19 вересня 2007 року він представив новий кабінет.[5]