De petit cantava en les festes familiars i recollia diners per a l'església tocant la guitarra. Va cursar la carrera de publicista i el 1982 va començar a treballar com a actor de telenovel·la. La carrera musical de Carlos Vives comença el 1988, intentant recuperar l'essència del vallenato, un estil musical format per la barreja de diverses cultures i que deu el seu nom a la regió de la Vall d'Upar. El 1989 va participar en la sèrie Escalona, on va realitzar la banda sonora de la sèrie.
El 1991 crea el grup La Província, amb el qual va actualitzar el vallenato perquè pogués ser escoltat en tots els racons del món. Carlos Vives compon i escriu la majoria dels temes del grup i s'acompanya dels instruments típics de la seva terra. El 1993 publica Clássicos de la Provincia, amb el qual es dona a conèixer a tot el món, aconseguint un notable èxit. El 1995 apareix La Tierra del Olvido, que va ser seguit per Tengo fe el 1997 i el 1999 per El amor de mi tierra.
Està casat amb l'ex-reina colombiana de bellesa Claudia Elena Vásquez amb qui té una filla i actualment esperen un altre fill, a més té dos fills del seu matrimoni amb Herlinda Gómez.Passa el seu temps entre Miami i Colòmbia, principalment entre Santa Marta i Bogotà.
Dirigeix el segell Gaira Música Local, que es va formar a partir del fenomen generat pel seu grup La Província. "Tengo Fe" és una realització d'aquesta companyia. Les bases van ser enregistrades a Sonolux Recording Studios de Bogotà, Colòmbia; i les veus a The Hit Factory de Nova York.
