Callaghan már 17 éves korától közalkalmazott volt. Kezdetben az adóhivatalban dolgozott, és hamar kapcsolatba került a szakszervezeti mozgalommal. A második világháborúban a haditengerészet hírszerzésénél szolgált, hadnagyi rangban. 1945-ben választották meg első alkalommal parlamenti képviselőnek, a walesiCardiff déli választókerületében. 1947 és 1951 között a Közlekedési Minisztériumban és az Admiralitásnál dolgozott.
1964-ben Harold Wilson kormányában ő kapta a kincstári kancellári posztot.[8] Meghatározó szerepe volt a Nemzetközi Valutaalap keretein belül létre hozott SDR-rendszer kialakításában. 1967-ben azonban arra kényszerült, hogy leértékelje a fontot, amiután lemondott a pénzügyminiszteri posztról. Ezt követően három évig Home Secretary[9] volt. 1970-ben a Munkáspárt elveszítette a hatalmat, és így Callaghan is ellenzékbe került.
1974-ben Harold Wilson ismét hatalomra került, és az új kormányban Callaghan lett a külügyminiszter. A kormány parlamenti támogatottsága gyenge volt, miközben az ország gazdasági kihívásokkal küzdött. 1976-ban Wilson lemondott a miniszterelnöki posztról, és a munkáspárt parlamenti képviselői Callaghant választották vezetőjüknek, aki 1976. április 5-én lett miniszterelnök.
Callaghan kormánya nehéz gazdasági környezetben volt kénytelen vezetni az országot. A kényszerű költségvetési kiadáscsökkentések népszerűtlenné tették a kormányt, miközben a Munkáspárttal is szembeforduló szakszervezetek sztrájkjai megbénították a közszolgáltatásokat. 1979 márciusában végül a parlament bizalmatlansági indítvány útján buktatta meg a kormányt. Az új választást a Margaret Thatcher vezette Konzervatív Párt nyerte meg; a következő közel két évtizedben ők irányították az országot. Callaghan miniszterelnöksége 1979. május 4-én ért véget.
1980. október 15-én a pártvezetői posztról is lemondott. Utódja Michael Foot lett. 1987-ben élethosszig tartó nemesi címet (Callaghan báró) kapott, és így a Lordok Háza tagja lett. 2005. március 26-án, egy nappal a 93. születésnapja előtt hunyt el.