Gyllenberg, som tillhörde den svenska adliga ätten Gyllenberg, utexaminerades 1911 från handelsläroverket i Åbo och slog tidigt in på bankirbanan. Sin första anställning fick han 1911 vid Åbo Aktiebanks huvudkontor, där han verkade till 1916, då han flyttade till Helsingfors och blev biträdande direktör vid Bankirfirman Tom Sahlberg. Firman omvandlades senare genom köp, efter Sahlbergs död 1925, till Bankirfirman Ane Gyllenberg, som den kallades efter 1936. Efter sin avgång som verkställande direktör och styrelseordförande 1958 kontrollerade han företaget genom ett holdingbolag.
Gyllenberg skapade sig en förmögenhet bland annat genom inköp av industrier, fastigheter och tomter i Helsingforsregionen. Bankirfirmans ändamål var enligt bolagsordningen bland annat att bedriva bankir- och kommissionsrörelse med värdepapper, köp och försäljning av stads- och landsfastigheter. Han satt i styrelsen för en rad storföretag, såsom Wärtsilä och Arabia. Han bedrev en omfattande humanitär verksamhet och grundade 1948 Signe och Ane Gyllenbergs stiftelse, som understödjer medicinsk forskning och upprätthåller museet i Villa Gyllenberg i makarna Gyllenbergs forna hem på Granö. Han var under mer än 50 år en hängiven anhängare av frimurarrörelsen. Han tilldelades kommerseråds titel 1949.
Nylund, Annika (2018). Ane Gyllenbergs liv: Skrivet ur arkivet. Helsingfors: Signe & Ane Gyllenbergs stiftelse. ISBN 978-952-68427-5-2
Planting, Maria & Lamberg, Bror-Axel & Bonsdorff, Bengt von (1991). Konsten med finanser: En bok om Ane Gyllenberg, hans bankirfirma, stiftelse och konstsamling. Helsingfors: Schildt. ISBN 951-50-0544-2
