Im Alter von sieben Jahren musste er seine Eltern verlassen, da ihm das Klima am Schwarzen Meer nicht gut kam. Er ging nach Ankara zu seiner Tante. Dort besuchte er die Mimar Kemal Grundschule, die Mittelschule und das Gazi-Gymnasium. 1964 nahm er ein Studium der Wirtschafts- und Finanzwissenschaften an der Fakultät für Politikwissenschaft (Mülkiye) der Universität Ankara auf. Er beendete sein Studium im Jahr 1968. In England schrieb er mit einem Stipendium der UNO seine Bachelorarbeit über Wirtschaft. Anschließend arbeitete er im Staatlichen Planungsamt (DPT). Zwischen 1978 und 1979 arbeitete er als hoher Beamter im türkischen Landwirtschaftsministerium. Karayalçın war Mitbegründer der Kooperation Kent-Koop. Dort war er erst verantwortlich für die Finanzen, stieg dann zum Generalsekretär auf war von 1981 bis 1991 Vorsitzender. Karayalçın war von 1986 bis 1987 Mitglied des Vorstandes der International Co-operative Housing Organisation (ICHO). Von 1988 bis 1993 war er Vorsitzender der Kooperation TÜRKKENT (Türkiye Kent Kooperatifi). Um die Stadt Ankara zu entlasten, startete er ein Satellitenstadt-Projekt unter dem Namen Batıkent (Weststadt). 1986 wurde er in England mit einem Preis ausgezeichnet, im gleichen Jahr wählte ihn die türkische Zeitschrift Nokta zum Geschäftsmann des Jahres. Weil er die Türkei in den Jahren 1987 bis 1991 im Ausland bekannt machte, erhielt er den Preis der Stiftung TÜTAV. 1993 wurde er von der französischen Regierung mit dem Orden der Ehrenlegion ausgezeichnet.
Am 26. März 1989 wurde er als Kandidat der Sosyaldemokrat Halkçı Parti (SHP) zum Oberbürgermeister Ankaras gewählt und blieb bis zum September 1993 im Amt. Karayalçın wurde auf dem 4. Kongress der SHP am 11. September 1993 als Nachfolger von Erdal İnönü zum Vorsitzenden der Partei gewählt. In der 50. türkischen Regierung war er von 1993 bis 1994 stellvertretender Ministerpräsident, Staatsminister und Außenminister. Nach der Fusionierung der SHP mit der Cumhuriyet Halk Partisi (kurz CHP) 1995 trat er vom Amt des Parteivorsitzenden zurück. In der 20. Legislaturperiode des türkischen Parlamentes war er Abgeordneter.
Am 18. April 1999 war er der Kandidat der CHP bei der Wahl des Oberbürgermeisters von Ankara, unterlag jedoch dem AKP-Kandidaten Melih Gökçek. Im Juni 1999 stellte er sich auf dem Kongress der CHP zur Wahl des Vorsitzenden. Er trat später aus der CHP aus und wollte zusammen mit Fikri Sağlar durch Bündnisse mit linken Gruppierungen eine neue linke Partei gründen. Im Mai 2002 wurde so die Sosyaldemokrat Halk Partisi (kurz auch SHP) gegründet. Im Dezember 2008 trat er aus SHP aus, um bei den Kommunalwahlen am 29. März 2009 als CHP-Kandidat wieder um das Oberbürgermeisteramt von Ankara zu streben. Er musste sich noch einmal Melih Gökçek geschlagen geben.
Karayalçın ist seit 1969 verheiratet und Vater eines Sohnes.
