Scharf war der Sohn von Hermann Karl Otto Scharf und dessen Ehefrau, der Tochter eines Gutsbesitzers aus Klostermansfeld. Der Bergingenieur Otto Eduard Scharf war Scharfs Onkel.
Otto Scharf wurde 1927 Vorstandsvorsitzender der A. Riebeck’schen Montanwerke und übernahm damit die Leitung sämtlicher IG-Bergwerke. Am 11. Oktober 1929 wurde er Vorsitzender des Verwaltungsrates der Gewerkschaft Messel.
Während der Zeit des Nationalsozialismus wurde Otto Scharf zum Wehrwirtschaftsführer ernannt. Dies war ein Ehrentitel, der im Rahmen der Auszeichnungen der NSDAP an die Leiter rüstungswichtiger Betriebe vergeben wurde.
Georg Beeger: Chronik der Grube Messel 1884–1964. In: Stephan Schaal, Ulrich Schneider (Hrsg.): Chronik der Grube Messel. Gladenbach 1995. ISBN 3-88343-016-1, S. 3–195.