Né dans une famille d’agriculteurs, André Gravelle fait ses études secondaires au lycée de garçons de Troyes mais celles-ci sont interrompues lorsque la seconde guerre mondiale éclate. Réfractaire au STO, il rejoint en le mouvement de résistance Libération-Nord, dont son père était le représentant pour le secteur Saint-Parres-aux-Tertres-Villechétif.
De retour à la vie civile, il travaille à la ferme familiale puis entre à la caisse primaire d’assurance maladie, devenant chef de bureau. En 1951, il s'oriente vers le journalisme et intègre le quotidien Libération Champagne pour prendre la direction de la rédaction sportive.
Il est élu conseiller municipal de Saint-Parres-aux-Tertres en 1953 puis devient adjoint au maire trois ans plus tard. Lors des élections municipales de 1965, il en devient le premier édile.
En , candidat d'union des gauches aux législatives, il remporte le scrutin au second tour avec 52% des voix et devient député de la 1re circonscription de l'Aube, siégeant dans le groupe du Parti socialiste et des radicaux de gauche. La même année, il fait son entrée au conseil général en tant que représentant du 1er canton de Troyes.
S'il n'est pas réélu député en 1978, il conserve cependant ses mandats de conseiller général et de maire jusqu'à son décès et sera vice-président du SIVOM de Troyes.