Félix Struye was een zoon van Aloïs Struye (1825-1897) en van Marie-Anne Broers (1839-1871). Hij was een kleinzoon van het lid van het Nationaal CongresFélix Struye-Provoost. Eugène Struye was zijn oom. Hij trouwde in Roermond met barones Henriette de Bieberstein Rogalla Zawadzka (Roermond, 1872 - Gent, 1947). Ze hadden drie zoons, die voor een talrijk nageslacht hebben gezorgd.
In 1908 werd Struye opgenomen in de erfelijke Belgische adel en in 1932 kreeg hij vergunning, voor zichzelf en voor zijn nageslacht, 'de Swielande' aan zijn familienaam toe te voegen.
