Caballero hadde bakgrunn som bygningsarbeider. Han ble medlem av sosialistpartiet i 1894 og valgt inn i bystyret i Madrid i 1905, og i parlamentet Cortes i 1917. Etter at partigrunnleggeren Pablo Iglesias døde i 1925, ble Caballero hans etterfølger som partileder. Da hadde han vært generalsekretær i UGT siden 1918.
Han var opprinnelig politisk moderat og hadde et pragmatisk forhold til general Miguel Primo de Riverasdiktatur, noe som medførte at fagorganisasjonen kunne fortsette arbeidet under dette regimet.
Fra 1931 til 1933 var Caballero arbeidsminister i en sentrum-venstre-regjering. Han hadde stor støtte innen arbeiderklassen, men var omstridt blant de intellektuelle.
I 1933 vant den politiske høyresiden valget, og denne dominerte i realiteten den angivelige sentrumsorienterte regjeringen. Dette førte til en radikalisering av Caballero. Han ble en talsmann for en sosialistisk revolusjon for hele den politiske venstresiden innenfor PSOE og UGT. Da tre profilerte høyrepolitikere ble tatt inn i regjeringen i 1934, ble Caballero en av lederne for den mislykkede væpnede arbeideroppstanden i Asturia og Catalonia. Denne ble slått ned av regjeringen.
Caballero forsvarte alliansen med andre arbeiderparti og fagorganisasjoner, som kommunistpartietPartido Comunista de España (PCE) og den anarkosyndikalistiske fagbevegelsen Confederación Nacional del Trabajo (CNT). Dette gjorde at han igjen kom i konflikt med Indalecio Prieto, etter seieren for folkefronten Frente Popular våren 1936. Caballero hindret at PSOE ble med i den republikanske, og da sentrumdominerte, folkefrontregjeringen til å begynne med. Caballero skal på denne tiden ha ment at faren for statskupp fra høyresiden var liten, og om dette allikevel kom, skulle det møtes med generalstreik og revolusjon.
Statskuppet kom 17. juli1936, da den spanske hæren under general Francisco Franco og høyresiden gjorde opprør. Da kuppet viste seg å ikke umiddelbart bli vellykket, utviklet situasjonen seg til Den spanske borgerkrigen, som varte i tre år.
Den 4. september 1936 ble Caballero utnevnt til stats- og krigsminister. Han gikk inn for fellesskap mellom sosialistene, kommunistene, det venstresosialistiskePOUM, anarkosyndikalistene og venstreorienterte katolikker. I tillegg til krigføringen, la han særlig vekt på å opprettholde regjeringens autoritet i det republikansk-kontrollerte området. POUM og CNT var imot å oppløse partimilitsene og la disse styrkene gå inn i den republikanske hæren hvor politiske offiserer fra PCE etter hvert fikk stor innflytelse.
Etter press fra Josef Stalin, og som en forutsetning for videre sovjetisk våpenhjelp, gikk PCE 3. mai til 8. mai1937 til væpnet aksjon mot POUM, som ble beskyldt for å være trotskistisk, og delvis også mot CNT. Dette førte til regjeringskrise, hvor kommunistene fikk presset igjennom at Caballero skulle gå av som regjeringssjef 17. mai. Den mer sentrumsorienterte Juan Negrin (også fra PSOE) ble ny statsminister, da kommunistene mente han var mer på deres linje slik situasjonen var.
Etter at republikken tapte borgerkrigen i 1939, flyktet Caballero til Frankrike, hvor han i 1942 ble arrestert av den tyske okkupasjonsmakten og sendt til konsentrasjonsleirenSachsenhausen. Der ble han frigjort av Den røde armé mot slutten av krigen. Han døde i eksil i Paris i 1946, da han ikke fikk anledning til å vendte tilbake til Spania under Franco. Kisten hans ble returnert til Madrid først i 1978.
Litterær referanse
I diktet Spania bær jernbyrd, skrevet i 1936, er Caballero skildret slik: