Haave var en av de viktigste haugianerne i landet og reiste rundt i landet på predikantreiser sammen med presten Mads Wefring. Han er mest kjent for salmen «Jesus, lær meg du å bede». Den ble skrevet i 1847 og stod først på trykk i J. Johnsens salmebok Aandelige Sange før den senere har vært med i Landstads reviderte salmebok, Norsk Salmebok og Norsk salmebok 2013. Den står også i den bedehustilknyttede Sangboken. Etter Haaves død sørget venner av ham for å få utgitt tekstene hans i Nogle aandelige Sange som kom i 1887.
