Seu envolvimento com a música inicia-se na família. Seu pai, Brás Antônio da Silva, era músico da banda da Polícia Militar e seu tio Elvino tocava violino. Depois, morando na Gávea, passou a frequentar as rodas de choro. Foi nessa época que surge o apelido que o acompanharia por toda a vida.
Casou-se por volta dos seus 20 anos com Alice Ferreira Neves, com quem teria quatro filhos e na mesma época consegue, graças a seu pai, um trabalho na polícia fazendo rondas noturnas a cavalo. E foi assim, durante as rondas, que conheceu e passou a frequentar o morro da Mangueira, onde conheceu sambistas como Cartola e Carlos Cachaça.
Deixou mais de quatrocentas composições, entre elas clássicos como "A Flor e o Espinho" e "Folhas Secas", ambas em parceria com Guilherme de Brito, seu parceiro mais frequente. Por falta de dinheiro, depois de deixar a polícia, Nelson eventualmente "vendia" parcerias de sambas que compunha sozinho, o que fez com que Cartola optasse por abandonar a parceria e manter a amizade.
Clementina de Jesus e Nelson do Cavaquinho, 1972. Arquivo Nacional.
Sua primeira canção gravada foi "Não Faça Vontade a Ela", em 1939, por Alcides Gerardi, mas não teve muita repercussão. Anos mais tarde foi descoberto por Cyro Monteiro que fez várias gravações de suas músicas. Começou a se apresentar em público apenas na década de 1960, no Zicartola, bar de Cartola e Dona Zica no centro do Rio. Em 1970 lançou seu primeiro LP, "Depoimento de Poeta", pela gravadora Castelinho.
Suas canções eram feitas com extrema simplicidade e letras quase sempre remetendo a questões como o violão, mulheres, botequins e, principalmente, a morte, como em "Rugas", "Quando Eu me Chamar Saudade", "Luto", "Eu e as Flores" e "Juízo Final".
Com mais de 50 anos de idade, conheceria Durvalina, trinta anos mais moça do que ele, sua companheira pelo resto da vida. Morreu na madrugada de 18 de fevereiro de 1986, aos 74 anos, vítima de um enfisema pulmonar.
No carnaval de 2011 a escola de samba G.R.E.S. Estação Primeira de Mangueira homenageou Nelson Cavaquinho pelo seu centenário. "O Filho Fiel, Sempre Mangueira" é o nome do enredo que a agremiação levou para a avenida. O músico era torcedor da escola de samba carioca.
