Durant sa jeunesse, ses parents tiennent un bistrot[1] dans lequel un accordéoniste vient chaque année jouer pour le 14-Juillet, et sera à l'origine de l'engouement pour l'accordéon du jeune Joe. En 1930, il reçoit son premier accordéon chromatique et commence l'apprentissage de l'accordéon avec André Turri puis, à partir de 1932, avec Médard Ferrero et ensuite avec Jacques Mendel.
↑c'est dans ce même bistrot que le jeune Marcel Azzola entendra jouer son aîné Joe et que M. Rossi père incitera M. Azzola père à pousser son fils vers l'accordéon
