Etter å ha vært elev ved Otto Anderssens skole tok han examen artium i 1885 og studerte deretter realfag ved universitetet i Kristiania. I 1892 tok han matematisk-naturvitenskapelig lærereksamen, og i 1902 fikk han doktorgraden fra Universitetet i Würzburg, etter å ha studert under Wilhelm Wien. Fra 1889 var han ansatt ved forskjellige skoler i Kristiania. I 1902 ble han utnevnt til overlærer i fysikk og matematikk ved Norges landbrukshøyskole i Ås. Her arbeidet han særlig med statistiske problemer i jordbruksforskningen.
I 1910 tok han en stilling som aktuar i livsforsikringsselskapet Fram. Etter ti år i dette firmaet ble han i 1920 ansatt som direktør for Oslo handelsgymnasium. Han hadde denne stillingen til han gikk av for aldersgrensen i 1937.
Holtsmark utga flere lærebøker i fysikk, som ble brukt i mange år. Den mest kjente var Lærebok i fysik for realgymnasiet og tekniske skoler, utgitt sammen med Daniel Isaachsen. Han var kronprins Olavs privatlærer i fysikk[trenger referanse]. Fra 1920 til 1923 var han medlem av Statens prisråd.
