Seine politische Laufbahn begann Kjartan Jóhannsson in der Kommunalpolitik und war von 1974 bis 1978 Mitglied des Stadtrates von Hafnarfjörður. Er war zudem von 1974 bis 1980 stellvertretender Vorsitzender der Sozialdemokratischen Partei Islands AF (Alþýðuflokkurinn). Bei den Wahlen 1978 wurde er als Kandidat der AF erstmals zum Mitglied des Althing gewählt und vertrat in diesem bis 1989 den Wahlkreis Reykjanes.
Am 1. September 1978 wurde er von MinisterpräsidentÓlafur Jóhannesson zum Fischereiminister(Sjávarútvegsráðherra) in dessen zweite Regierung berufen und bekleidete dieses Amt bis zum 15. Oktober 1979. In der darauf folgenden Regierung von Ministerpräsident Benedikt Sigurðsson Gröndal fungierte er vom 15. Oktober 1979 bis zum 8. Februar 1980 als Minister für Fischerei und Handel (Sjávarútvegs- og viðskiptaráðherra). 1980 löste er Benedikt Sigurðsson Gröndal als Vorsitzender der Sozialdemokratischen Partei ab und bekleidete diese Funktion bis zu seiner Ablösung durch Jón Baldvin Hannibalsson 1984. Er war des Weiteren zwischen 1980 und 1989 Mitglied der Parlamentarischen Versammlung des Europarates.
Nach seinem Ausscheiden aus dem Althing war Kjartan Jóhannsson vom 1. August 1989 bis zum 1. September 1994 Ständiger Vertreter bei den Vereinten Nationen und anderen internationalen Organisationen in Genf. Zugleich war er in Personalunion als Botschafter in Ägypten, Äthiopien, Tansania und Keniaakkreditiert. Auf der Sitzung der EFTA-Staaten Österreich, Finnland, Island, Liechtenstein, Norwegen, der Schweiz und Schweden wurde er am 16. Juni 1993 zum Generalsekretär der Europäischen Freihandelsassoziation (EFTA) gewählt und trat dieses Amt als Nachfolger des aus Schweiz stammenden William Rossier am 1. September 1994 an. Er übte diesen Posten bis zum 1. September 2000 aus und wurde daraufhin von dem aus Österreich kommenden Georg Reisch abgelöst.[2]
Im Anschluss fungierte er zwischen 2000 und 2002 als Sonderbotschafter des Außenministeriums sowie von 2002 bis 2005 als Ständiger Vertreter bei der Europäischen Union. Als solcher war er zusätzlich als Botschafter in Belgien, Liechtenstein, Luxemburg und Marokko akkreditiert.
Anmerkung: Isländer werden mit dem Vornamen oder mit Vor- und Nachnamen, jedoch nicht allein mit dem Nachnamen bezeichnet. Weiterführende Informationen finden sich unter Isländischer Personenname.