Carlinhos, ainda criança, estudou piano com seu avô Guilherme Fontainha, e já dava concertos aos sete anos, no interior de São Paulo.
O início da carreira veio em 1973, quando, ainda funcionário da Bovespa (atual B3), lançou dois compactos simples pela gravadora Chantecler. Em 1974 foi lançado Brecha, seu primeiro álbum, ainda em formato LP.
Entre suas composições mais famosas, pode-se citar: "Por que será?", com Vinicius de Moraes e Toquinho (1977); "Torresmo à Milanesa", com Adoniran Barbosa (1980); "Camisa Molhada", com Toquinho (1976); "Como um Ladrão" (1975) e "Nosso Bolero", com Chico Buarque (1986); "Tocaia de Cobra", com Paulo César Pinheiro (1998); e "Dia Seguinte", com J. Petrolino (1978) (gravada por Beth Carvalho), entre outras .Adepto da liberdade para criar, Carlinhos Vergueiro sempre evitou a prisão dos rótulos para definir seu estilo e seus caminhos. Essa máxima artística e pessoal o permitiu estabelecer parcerias com uma infinidade de nomes – de Adoniran Barbosa a Vinícius de Moraes, de Sueli Costa a João Nogueira, de Chico Buarque a Arlindo Cruz – em uma obra que passeia com tranquilidade por valsas e boleros, sem cair em contradição quando finalmente desemboca no samba, ritmo que mais o acompanhou ao longo da vida e que acabou por consagra-lo.