Carlos José era o filho favorito de Maria Teresa e Francisco I. Ele era conhecido por odiar seu irmão mais velho, o futuro imperadorJosé II. Ele o ridicularizou por sua soberba e achou-se mais merecedor da coroa do Sacro Império Romano-Germânico porque ele foi o primeiro filho nascido de Francisco durante seu reinado como imperador. Carlos José frequentemente dizia que pretendia lutar com seu irmão pela coroa imperial.
A rivalidade entre os irmãos foi terminada com a morte de Carlos José que foi vítima varíola, duas semanas antes de seu décimo sexto aniversário. Maria Teresa conta que enquanto estava sentada em sua cama em lágrimas, Carlos José apareceu diante dela e lhe disse:
Você não deveria chorar por mim, querida mãe, pois se eu tivesse vivido, eu teria trazido muitas mais lágrimas!
Carlos José está enterrado na Cripta Imperial de Viena. Seu coração foi enterrado separadamente da Cripta dos Habsburgos na capela de Loreto da Igreja Agostiniana de Viena.