Karl Sauber var son till lantbrukaren Lars Andersson. Efter mogenhetsexamen i Helsingborg 1895 avlade han officersexamen 1897 och utnämndes till löjtnant vid Norra skånska infanteriregementet 1901. Kort därefter lämnade Sauber dock officersyrket som kapten i armén för att ägna sig åt affärslivet. Han upptogs 1902 som delägare i Gustaf E. Rylanders grosshandelsfirma i Stockholm, som därvid omvandlades till AB Gustaf E. Rylander. Företaget, som handlade med rör, värmeledningspannor, sanitära artiklar med mera, sammanslogs 1911 med konkurrentfirman AB Hugo Asplund & co. i Stockholm och antog därvid det AB Rylander & Asplund. Sauber var bolagets VD 1911–1948 och var från 1948 ordförande i bolagets styrelse. Han var VD och styrelseordförande i AB Maskinfabriken Göta från 1919 samt styrelseordförande i Maskin AB Karlebo 1927–1944, båda i Stockholm, Han var fullmäktig och kassaförvaltare i Stockholms handelskammare och styrelseordförande i Sveriges grossistförbund. Bland Saubers många offentliga uppdrag märks, att han var ledamot av Samtrafiknämnden för järnvägarnas godssamtrafik 1929–1947 och i Clearingnämnden från 1934. Han var ledamot av Järnvägsrådet 1941–1947. Åren 1935–1941 var Sauber grekiskgeneralkonsul i Stockholm. Sauber blev riddare av Vasaorden 1929 och av Nordstjärneorden 1936 samt kommendör av andra klassen av samma orden 1944. Han vilar på Djursholms begravningsplats.