Il étudie le droit à l'université nationale de Séoul, obtient sa qualification de juriste en 1972, et siège comme juge dans divers tribunaux, jusqu'à devenir juge de la Cour suprême, de 2005 à 2008. En , il est nommé à la tête du Comité d'audit et d'inspection (감사원), chargé de superviser l'administration[1].
En , le Premier ministre Chung Un-chan démissionne et Kim se porte candidat à sa succession. Nommé le suivant par le président de la République, Lee Myung-bak, il est investi le 1er octobre par le Parlement, par 169 voix contre 71 et prend ses fonctions le même jour. Il est alors soutenu principalement par le Grand parti national, parti conservateur du chef de l'État. En revanche, le Parti démocrate, principal parti d'opposition, s'oppose à son élection, mettant en avant le fait qu'il avait échappé au service militaire en 1972 grâce à un certificat médical fourni par un hôpital dirigé par son frère[1].
Lors de son discours d'investiture au poste de Premier ministre, il promet d'œuvrer avec le président pour une société « juste »[1].
