Karel Ludvík již od dětství žil ve stínu svých starších bratří Františka Josefa a Maxmiliána. Nijak zvlášť se nezajímal ani o politiku, ani o svou vojenskou kariéru, ve které to roku 1884, jak se slušelo na člena císařského domu, dotáhl na generála kavalerie. Stal se místodržícím v Tyrolsku a Vorarlbersku, kde se však stal sympatizantem konzervativních klerikálů, kteří nesouhlasili s protestantským patentem, zakotveným do nové ústavy. Z toho důvodu se rozhodl roku 1861 ze své funkce odstoupit a do budoucna se zřekl jakéhokoliv dalšího politického působení. Propříště vystupoval pouze jako reprezentant císařského domu při nejrůznějších slavnostních příležitostech a výstavách, čímž si vysloužil nepříliš lichotivou přezdívku „výstavní arcivévoda“. V roce 1889, po sebevraždě korunního prince Rudolfa, se stal prvním následníkem trůnu a zastupoval císaře i na zahraničních cestách. Oficiálně však následníkem trůnu nikdy jmenován nebyl a vzdal se svých práv ve prospěch svého nejstaršího syna Františka Ferdinanda.
Ota František Josef (21. dubna 1865 – 1. listopadu 1906); ⚭ 1886 Marie Josefa Saská; vzhledem k tomu, že jeho starší bratr (a po smrti korunního prince Rudolfa následník trůnu) František Ferdinand se oženil morganaticky a jeho děti tudíž byly z následnictví vyloučeny, stal se Otův starší syn císařem
Ferdinand Karel (27. prosince 1868 – 12. března 1915), ⚭ 1909 Bertha Czuber (morganatický sňatek)
S: také španělský infant T: také toskánský princ M: také modenský princ P: také portugalský infant B: také belgický princ kurzívou jsou rakouští panovníci