Si vous disposez d'ouvrages ou d'articles de référence ou si vous connaissez des sites web de qualité traitant du thème abordé ici, merci de compléter l'article en donnant les références utiles à sa vérifiabilité et en les liant à la section « Notes et références ».
Il est le fils de José Ramón Caballero de Anazco (un descendant de Topa Hualpa par Inca Garcilaso de la Vega) et son épouse Melchora Inés Melgarejo y Gènes.
Après la mort de Juan Bautista Gill en 1877, il contribue à l'élection à la présidence de son ami Cándido Bareiro l'année suivante. Peu de temps après la mort de Barreiro le , il organise un coup d'État et usurpe la présidence pour lui-même, avant de se faire élire en 1882. Il dirige le pays pendant six ans, période pendant laquelle il privatise une grande partie des terres.
Caballero truque l'élection présidentielle de 1886 pour assurer la victoire de son candidat Patricio Escobar. En réponse, ses adversaires fondent le Parti libéral qui s'oppose au Parti Colorado. Caballero maintient son pouvoir en exerçant le commandant de l'armée paraguayenne et porte à la présidence ses propres candidats jusqu'en 1894, date à laquelle Juan Bautista Egusquiza(en) renverse Juan Gualberto González. Caballero participe à un autre coup d'État en 1902 en promouvant Juan Antonio Escurra(en), mais après le renversement de ce dernier par l'armée argentine, les libéraux prennent le pouvoir.