Il est l'un des plus jeunes sélectionnés en équipe de France de football à l'âge de 17 ans et quatre mois, le contre le Luxembourg (4-5). Gastiger est le plus jeune buteur en Bleu à 17 ans et 156 jours, lors de sa deuxième sélection contre la Suisse (2-2) un mois plus tard.
Sélectionné à trois reprises en équipe de France, sa carrière internationale qui s'étire entre 1914 et 1920 est morcelée par la Première Guerre mondiale. Gastiger est l'auteur d'une passe décisive pour Paul Nicolas au cours de sa troisième et dernière sélection contre la Belgique[3].
Son frère, Pierre, est également footballeur. Tous deux participent à la finale perdue des Jeux interalliés le , face aux Tchèques[4], puis sont demi-finalistes des jeux olympiques l'année suivante. Après le FEC Levallois, les deux frères jouent toujours ensemble à Rennes, à compter de 1921-1922[5].