Er war der Enkel von Eduard Ladislas Kaunitz, Baron von Holmberg (1778–1853), ein österreichischer Offizier, der im argentinischen Unabhängigkeitskrieg kämpfte, und Sohn von Eduardo Wenceslao Holmberg (1815–1875), der ebenfalls beim argentinischen Militär war und außerdem Botaniker. Holmberg studierte Medizin in Buenos Aires mit dem Abschluss 1880, praktizierte aber nie als Arzt. Er interessierte sich für Botanik und Entomologie und studierte auf Reisen in Argentinien die dortige Fauna und Flora. Anfangs waren ein Schwerpunkt seiner Forschung Spinnen. Er reiste schon in den frühen 1870er Jahren nach Patagonien und begleitete auch die Wüstenkampagne. Holmberg arbeitete mit Florentino Ameghino zusammen.
