Alapos nevelést kapott, amely kiterjedt a katonai ismeretekre is, nevelője Rómer Flóris volt. 1845-ben hadapródként lépett a császári hadsereg 12. (Nádor) huszárezredébe, amelynek a mindenkori nádor volt az ezredtulajdonosa. 1853-tól a 3. dragonyos ezred őrnagya volt (ez időben Kecskeméten és Kiskunfélegyháza környékén időzött az ezred), majd rövid időre elhagyta a lovasságot és a 60. (Wasa) gyalogezredben szolgált. 1855-től a 8. dragonyos ezred ezredese és a 37. gyalogezred ezredtulajdonosa lett, mely nevét is felvette. 1859-ben vezérőrnaggyá léptették elő.
1866-ban az osztrák IV. hadtest kötelékében részt vett a porosz–osztrák háború számos csatájában. Schweinschádelnél és Königgrätznél a túlerőben lévő ellenség támadásainak különösen ki volt téve. Július 3-án József főherceg csapatai élén állva, sokáig feltartóztatta a porosz testőrség előrenyomulását. Közben négy lovat lőttek ki alóla. Amikor a hadtest parancsnoka, gróf Festetics Tasziló (1813-1883) altábornagy súlyos sebet kapott, egyik lábát elvesztette,[2] és a harctérről el kellett szállítani, József főherceg átvette a hadtest vezényletét, dacára annak, hogy maga is megsebesült a kezén.[3] Vitézségéért még ebben az évben megkapta a Katonai Érdemkeresztet. A königgrätzi csata után átvette a IV. hadtest parancsnokságát és altábornaggyá, rövidesen táborszernaggyá léptették elő és a Linzben állomásozó gyaloghadosztály élére állították.
1868. december 5-én megbízást kapott a Magyar Királyi Honvédség megszervezésére, melynek haláláig főparancsnoka lett. A honvédség megszervezésében és a kiképzés tökéletesítésében szerzett érdemeiért 1874-ben I. Ferenc József királytól megkapta a Szent István-rend nagykeresztjét, majd rövidesen lovassági tábornokká léptették elő.
Tudományos és társadalmi tevékenysége
József Károly nem csak katonai érdemei miatt volt népszerű Magyarországon, hanem mert a társadalmi és kulturális élet minden megnyilvánulásában sietett kimutatni, hogy magyar királyi herceg s mindenben a magyarokkal érez. Alig volt olyan nemzeti ügy vagy társadalmi mozgalom, amelynek pártját ne fogta volna. Házassága után Magyarországra költözött, és a család alcsúti birtokán telepedett le. Nagy szenvedéllyel gondozta az alcsúti arborétumot, botanikai kutatásokat végzett, melyek eredményét több tanulmányban tette közzé. Kisjenőn és Alcsúton kertészeti mintagazdaságot hozott létre. Az ő birtokában volt a budapesti Margit-sziget is, melyet üdülőhellyé épített ki és számos növényritkasággal ültette be. 1871-ben ő építtette meg a szigeti lóvasutat, mely utolsó útját 1928. április 10-én tette meg. Jelentős részt vállalt a szigetet a Margit híddal összekötő szárnyhíd megépítésének költségeiből is.
Az ipar előre mozdításáért sokat tevékenykedett, többek között ő volt az alapítója a Magyar Gazdasági Egyesületnek. Számos jótékonysági intézmény létrehozásában is közreműködött, vagy kezdeményezőként vagy pártfogóként. Az ő nevéhez fűződik a crikvenicai László főherceg otthon (László menhely) alapítása, melyben beteg gyermekeket üdültettek, szintén a horvát tengerparti városban megvásárolta a Frangepán-kolostort honvédtisztek gyógy- és üdülőhelyéül.[4] A budapesti poliklinika-egyesületnek és a tüdővész-szanatórium-egyletnek is a védnöke volt. A természet iránt -különösen a növénytan- is érdeklődött, erről 1892-ben megjelent írása is tanúskodik, melyben az alcsúti arborétum növényeit mutatja be.
Még fiatal korában a Wasa gyalogezred tisztjeként cigány katonáitól megtanulta a cigány nyelvet és ettől kezdve behatóan foglalkozott a cigány nyelvvel és folklórral. Elsőként tett konkrét lépéseket a magyarországi cigányság letelepítésére és állandó munkavállalásuk biztosítására. Birtokaira cigányokat próbált letelepíteni, akik számára állandó megélhetést, gyermekeiknek iskolai oktatást nyújtott. A cigánysággal kapcsolatos kutatásaival nemzetközi hírnevet szerzett. Ő írta az első cigány-magyar szótárt, és az első cigány nyelvtannal foglalkozó szakkönyvet, melyeket a Magyar Tudományos Akadémia adott ki. 1881-ben az Akadémia igazgatósági, 1888-ban tiszteleti tagjává választották. 1896-ban a budapesti, 1897-ben a kolozsvári egyetem tiszteletbeli doktora lett. A budapesti Philológiai Társaság és a londoni Japan Society is tiszteletbeli tagjának választotta.
Jelentős részt vállalt a magyar tűzoltóság megszervezésében. Megindította Az Osztrák–Magyar Monarchia Irásban és Képben című földrajzi és néprajzi kiadványt (21 kötet-főszerkesztők Jókai Mór magyar és Weilen német nyelven), amely a Révai Testvérek Irodalmi Intézet Részvénytársaság kiadásában jelent meg 1886 és 1902 között.[5]
A 21 kötetből 7 foglalkozik a korabeli Magyarországgal. A néprajzi fejezetek írói között található többek között: Jókai Mór, Mikszáth Kálmán, Eötvös Károly, Benedek Elek és mások.[6]
József Károly főherceg – családjával egyetemben – hatalmas népszerűségnek örvendett Magyarországon. Erre utal beceneve is: „Palatinus Jóska”. Népszerűségét igazolják azok az anekdoták is, amelyek közül egyet érdemes említeni. A főherceggel baráti kapcsolatba került Arany János, aki sokat időzött a főherceg birtokában lévő Margit-szigeten. Egy alkalommal a szigeten sétáló főherceg meglátta Aranyt, amint egy padon üldögélve, kapcsos könyvébe írogat. Csendesen a költő háta mögé lopózott és úgy látta, hogy a vers, melyen a költő dolgozik, „A tölgyek alatt” címet viseli. A botanikában járatos főherceg odaszólt a költőnek: „Ohó, kedves Arany úr, ezek a fák, a hol most ül, hársak. Ha a tölgyeket akarja megénekelni, menjen egy paddal arrébb!” De hasonló tréfás történeteket meséltek Deákkal és Széchenyivel kapcsolatosan is.
Klotild Mária Rainera Amália Filoména főhercegnő (Fiume, 1884. május 9. – Alcsút, 1903. december 14.), fiatalon meghalt.
József Károly főherceg 1881-ben, Fiuméban megvásárolta az Adriai-tenger partján fekvő, később Villa Giuseppe néven emlegetett kastélyt. A főherceg az elkövetkezendő években jelentős átalakításokba kezdett. A környező kisebb kastélyokat megvásárolta és leromboltatta így nyerve több hektáros területet a kialakítandó park számára. Magát a kastélyt 1892 és 1895 között újíttatta fel és bővítette ki Pietro és Raffaelle Culotti horvát építészekkel. A kastély egészen 1916-ig volt a főhercegi család téli tartózkodási helye, amikor is az özvegy Klotild főhercegné eladta azt.[8] József főherceg orvosai tanácsára töltötte a teleket az enyhébb levegőjű Adria melletti kastélyban. Ez a fiumei kastély lett a főherceg halálának színhelye 1905-ben. Fia, József Ágost és családja a teleket szintén e vidéken töltötte voloscai villájában (Villa Gisellina),Abbázia közelében.