Nach seiner Ausbildung in Wien trat Markhoff zuerst als Konzertsänger auf und wurde von Hans Gregor 1911 an die Wiener Hofoper, später Staatsoper, verpflichtet. Da es bereits ein Ensemblemitglied mit Namen Hofbauer (wohl Rudolf Hofbauer) gab, musste er seinen Namen ändern und entschied sich für Markhoff. Er wirkte an weit über 600 Vorstellungen mit, unter anderem auch an der ersten deutschsprachigen Aufführung von JanáčeksJenůfa (1918) und an der Uraufführung der Bakchantinnen von Egon Wellesz (1931). Bis zum Ende der Spielzeit 1936 blieb Markhoff Mitglied des Staatsoper.
1924 verkörperte er als Gast am Royal Opera House Covent Garden in London den Hunding in der Walküre. 1928 gastierte Markhoff mit der Wiener Staatsoper an der Grand Opéra in Paris und sang dort erneut Komtur, Bartolo, Hunding und Don Fernando. Als Glanzrollen des Künstlers gelten der Sarastro (Zauberflöte) und der Gurnemanz im Parsifal.
Nach Ende seiner Bühnenkarriere unterrichtete Markhoff in Wien. Schallplattenaufnahmen sind nicht bekannt, es bestehen jedoch Mitschnitte aus Aufführungen der Staatsoper – als Fasolt im Rheingold und als Biterolf in Fragmenten des Tannhäuser.
Er war mit der Wiener Malerin Marianne Markhoff-Hofbauer, geb. Korab v. Mühlström verheiratet, das Paar lebte in der Belevederegasse 7 im 4. Wiener Gemeindebezirk.[1]
Sein Grab befand sich auf dem Hietzinger Friedhof in Wien, es wurde 2015 von der Friedhofsverwaltung geschleift.