Holman vanhemmat olivat lehtori Anders Viktor Hellman ja Anna Ida Charlotta af Enehjelm. Hän pääsi ylioppilaaksi 1901 ja valmistui filosofian kandidaatiksi 1904 ja maisteriksi 1907. Holma suoritti lakitieteen kandidaatin tutkinnon 1909 ja sai varatuomarin arvon 1911. Holma toimi asianajajana Helsingissä 1910–1915, Säästöpankkien keskuspankin johtajana 1915–1917, Kansallis-Osake-PankinTurun konttorin johtajana 1917–1920, Suomen valtionhoitajan siviilikanslian päällikkönä 1919, asianajajana Helsingissä 1924–1934, Suomen puunvienti oy:n lakiasiainosaston johtajana 1935–1942 ja lopuksi asianajajana Lahdessa 1942–1949.
Kaarlo Holma oli naimisissa vuosina 1910–1940 Anna Sofia Boreniuksen kanssa ja vuodesta 1940 Astrid Matilda Nymanin kanssa. Diplomaatti, assyriologi Harri Holma oli Kaarlo Holman veli.