Som sportskytt deltog von Holst i olympiska sommarspelen 1906, 1908 och 1912. Sina största framgångar nådde han i Stockholm 1912, där han blev silvermedaljör i miniatyrgevär 25 m och bronsmedaljör i duellpistol 30 m. Han ingick också i de svenska lag som tog guld i båda dessa grenar. I spelen i London 1908 tog han ytterligare en silvermedalj i lagtävlingen i miniatyrgevär liggande. I extraspelen i Aten 1906 blev han individuell silvermedaljör i duellpistol 25 m. von Holst deltog även i Baltiska spelen i Malmö 1914.
Hübner von Holst var gift två gånger, första gången 1910–1931 med grevinnan Eva Mörner af Morlanda och den andra med Karin Kinberg. Han fick en dotter i vardera äktenskapet.