Gisèle Vallerey naît à Amiens le [2] dans une famille de nageurs. Son père, Georges, a pris part aux Jeux olympiques d'été de 1924, à Paris, sur 200 m brasse. Son frère aîné Jehan né en 1925 est champion de France en grand bassin du 400 m nage libre en 1946[3] et Georges né en 1927, médaille de bronze sur 100 m dos aux Jeux olympiques d'été de 1948 à Londres.