Contudo, o casamento foi infeliz já que Oto traiu a esposa várias vezes. De uma das suas amantes, Marie Schleinzer, teve dois filhos:
Alfred Joseph von Hortenau (10 de novembro de 1892 – 1957)
Hildegard von Hortenau (7 de março de 1894 –)
Morte
Oto esteve doente nos últimos dois anos da sua vida, tendo-se retirado quase completamente da vida pública. Passou o seu primeiro ano de doença no Egipto, mas as melhoras que teve foram temporárias, por isso regressou à Áustria onde passou os seus últimos meses gravemente com uma forma incurável de doença de Sífilis.[2]
Rumor
Oto era conhecido por Otto der Schöne ("Otto o bonito"). É lembrado devido a uma história muito conhecida na época que dizia que o arquiduque tinha sido visto num corredor do Hotel Sacher, prestes a entrar no quarto de uma senhora, completamente nu à excepção de uma espada que levava à cintura. [carece de fontes?]