Van de kinderen van Karel III, was Gabriel de meest intelligente en ijverige. Hij was ontwikkeld en was een uitstekend vertaler van Sallustius en een echte mecenas. Zijn muziekleraar was Padre Antonio Soler, die verschillende sonates voor harpsichord componeerde voor zijn talentrijke leerling, evenals concerten voor twee orgels die ze samen uitvoerden in de kerk van het Escorial.
Gabriel was grootprior van de Orden Hospitalaria de San Juan in Castilië en León. In 1771 gaf hij Juan de Villanueva de opdracht om de Casita del Infante te bouwen.