Marx kreeg zijn eerste muzieklessen van zijn moeder, zelf een pianiste. Later ging hij naar een in Oostenrijk bekende, door Johann Buwa opgerichte pianoschool, waar hij de grondslag legde voor zijn virtuoos pianospel. Autodidactisch leerde hij de viool en de cello te bespelen. Marx begon met componeren op het gymnasium; hij gebruikte bekende thema's om kleine stukjes te schrijven voor piano en strijktrio of -kwartet. Het was de wens van zijn vader dat hij rechten ging studeren aan de Universiteit Graz, maar hij verwisselde dit spoedig voor filosofie en kunstgeschiedenis, wat uiteindelijk leidde tot een breuk in de relatie met zijn ouders. Hij had nog steeds grote affiniteit met muziek en op 26-jarige leeftijd zette hij het componeren voort en schreef van 1908 tot 1912 ongeveer 120 van zijn totaal circa 150 liederen. Hij promoveerde in 1909 tot Dr.phil. bij Alexius Meinong aan de Universiteit Graz met het proefschriftÜber die Funktion von Intervall, Harmonie und Melodie beim Erfassen von Tonkomplexen. Daarna publiceerde hij nog verschillende muziektheoretische werken, zoals (gebaseerd op onderzoek bij 8000 personen met gedifferentieerde muzikale opvoeding) twee omvangrijke proefschriften over Klankpsychologie en het Wezen van de tonaliteit, die op het pionierswerk van de musicoloog Hugo Riemann stoelden.
In 1914 begon hij als docent voor muziektheorie aan de Academie voor muziek in Wenen. In 1922 werd hij directeur van deze academie. Hij was medeinitiatiefnemer bij de oprichting van de eerste Hochschule für Musik in Wenen en was daar van 1924 tot 1927 rector magnificus. In 1932 kreeg hij van Mustafa Kemal Atatürk de opdracht het conservatorium in Ankara en het systeem van de Turkse muziekscholen op te bouwen. In deze functie werkte hij tot 1933, waarna hij werd opgevolgd door Paul Hindemith en Béla Bartók. Van 1947 tot 1952 was hij eveneens professor voor musicologie aan zijn Alma Mater, de Universiteit Graz. In zijn 43 jaar durende werkzaamheden als docent voor muziektheorie, compositie en contrapunt had hij bijna 1.300 muziekstudenten van internationale afkomst en was daarmee in de 20e eeuw een van de meest begeerde muziekpedagogen. De circa 15.000 brieven van rond 3.400 personen, een omvangrijk gedeelte van zijn nalatenschap, die in de Oostenrijkse Nationaalbibliotheek bewaard wordt, geven getuigenis van zijn inzet voor het belang van de tonale muziek.
Marx was tot aan zijn dood voorzitter en erevoorzitter van vele belangrijke organisaties en instituties in het Oostenrijkse muziekleven zoals de Gesellschaft der Autoren, Komponisten und Musikverleger (AKM) (de Oostenrijkse zusterorganisatie van de Buma/Stemra of SABAM), Staatsrat für Kultur, Oostenrijkse componistenbond, Steirischer Tonkünstlerbund, Österreichische Akademie der Wissenschaften en de Fédération Internationale des Sociétés d'Auteurs et Compositeurs. Hij heeft zich na de Tweede Wereldoorlog ingezet voor de wederopbouw van het Midden-Europese en vooral het Oostenrijkse muziekleven en heeft zich, als vertegenwoordiger van Oostenrijk, in diverse commissies van de UNESCO ingezet voor de wederopbouw van de gedurende de Nazibezetting verstoorde internationale betrekkingen van Oostenrijk.
Hij was muziekcriticus voor meerdere Weense dagbladen, onder anderen het "Neue Wiener Journal" en de "Wiener Zeitung", alsook voor enkele magazines.
Als componist werd hij beïnvloed en geïnspireerd door de beleving van de natuur, vooral van zijn geboortestreek, de zuidelijke deelstaat Stiermarken. Zijn composities zijn vaak te karakteriseren als stemmingsmuziek van zuiverste geaardheid en expressie van een buitengewoon schoonheidsgevoel. Zuid-Europese melodievreugde, romantisch impressionisme en de klankervaring met de jonge Russische school, vooral Alexander Skrjabin, verbinden zich in zijn persoonlijke stijl tot een karakteristieke synthese.
Zijn Romantisches Klavierkonzert heeft hij voltooid in 1920. In 1919 voerde Marx al een versie voor twee piano’s uit maar de uiteindelijke versie verscheen in de loop van 1920. De pianopartij is bijzonder moeilijk, Marx moet een formidabel pianist zijn geweest. De manier waarop het uitgewerkt is, zoals het samengaan van melodie en tegenmelodie en de wisselwerking piano – orkest, heeft meer weg van een symfonie met een heel pittige pianopartij dan van een pianoconcert.
Marx kon niet goed instrumenteren; hij laat vaak de strijkersgroep de solopiano ondersteunen met af en toe een versterking door de hout – of koperblazers, wat nogal mat overkomt. De structuur is puur klassiek: drie delen, snel - langzaam – snel, waarvan het laatste deel een rondo vorm heeft (een openingsthema dat steeds terugkeert). Het Romantisches Klavierkonzert (37 minuten) was gedurende de jaren 20 erg populair in Duitsland en Oostenrijk, maar verdween reeds in de loop van de jaren 30 geheel van het repertoire, waarschijnlijk omdat het toen al gedateerd was.
Zijn composities voor koor en orkest getuigen van een sterk gevoel voor polyfonie en harmonieleer.
Eregraf op de centrale begraafplaats in Wenen (Wiener Zentralfriedhof - Gruppe 32 C, Nummer 29)
Publicaties
Weltsprache Musik. Bedeutung und Deutung tausendjähriger Tonkunst, Austria-Edition, Wien 1964.
Publikum, Kritik, Erfolg, in: Lebendige Stadt. 1955. pp. 78–83.
Betrachtungen eines romantischen Realisten. Gesammelte Aufsätze, Vorträge und Reden über Musik. Uitgegeven door Oswald Ortner. Gerlach & Wiedling, Wien 1947.
Wolfgang Suppan, Armin Suppan: Das Neue Lexikon des Blasmusikwesens, 4. Auflage, Freiburg-Tiengen, Blasmusikverlag Schulz GmbH, 1994, ISBN 3-923058-07-1
Helmut Kretschmer, Univ.-Prof. Dr. Felix Czeike (Hrg.): Wiener Musiker Gedenkstätten, Vienna: J & V Edition, 1988. 146 p.
Thomas Leibnitz: Österreichische Spätromantiker; Studien zu Emil Nikolaus von Reznicek, Joseph Marx, Franz Schmidt und Egon Kornauth; mit einer Dokumentation der handschriftlichen Quellen in der Musiksammlung der Österreichischen Nationalbibliothek, Tutzing: Hans Schneider Verlag, 1986.
Gloria Ziegler: The writings of Josef Marx : an anthology, New York: McGinnis & Marx 1983. 160 p.
Erik Werba: Joseph Marx in Vergangenheit und Gegenwart. Zum 100. Geburtstag am 11. Mai 1982, in: Österreichische Musikzeitschrift. 37 (1982), pp. 249–251
Erik Werba: Joseph Marx, in: Österreichische Komponisten des 20. Jahrhunderts, Band I. Wien: Österreichischer Bundesverlag, Wien 1964. 61 p.
Erik Werba: "Pan trauert um Syrinx". Das letzte Kapitel der Biographie Joseph Marx, in: Österreichische Musikzeitschrift. 19 1964, pp. 530–532
Erik Werba: Der Lyriker Joseph Marx, in: Österreichische Musikzeitschrift. 19 1964, pp. 263–264
Erik Werba: Joseph Marx und sein Schülerkreis - Eine Skizze, in: Musikerziehung. 5 1952, pp. 214–216
Othmar Wessely: Joseph Marx. Zur hundertsten Wiederkehr seines Geburtstages, in: Studien zur Musikwissenschaft. 33 (1982), pp. 7–11
Joseph Kenneth Meyers: The songs of Joseph Marx, Missouri (Kansas City). 1971. dissertation
Ernst Tittel: Die Wiener Musikhochschule. Vom Konservatorium der Gesellschaft der Musikfreunde zur staatlichen Akademie fur Musik und Darstellende Kunst, Wien: Lafite, 1967, 111 p.
Erich Schenk: Joseph Marx. Nachruf, in: Almanach der Österreichischen Akademie der Wissenschaften. 116 1967, pp. 255–277
Erich Schenk: In memoriam Joseph Marx, in: Studien zur Musikwissenschaft. 27 1966, pp. 5–7
Roland Tenschert: Joseph Marx, in: Schweizerische Musikzeitung. 104 1964, pp. 309–310
Alexander Witeschnik: Joseph Marx zum 80. Geburtstag, in: Österreichische Musikzeitschrift. 17 1962, pp. 180–182
Hans von Dettelbach: Joseph Marx zum 80. Geburtstag, Graz: Steirischer Tonkünstlerbund 1962. 22 p.
Erich Schenk, Leopold Nowak, Hermann Ullrich: Joseph Marx zum 75. Geburtstag. Drei Variationen über das Thema "Romantischer Realist", in: Österreichische Musikzeitschrift. 12 1957, pp. 158–159
Anton Wurz: Ein Österreichischer Spätromantiker. Joseph Marx wurde 70 Jahre alt, in: Zeitschrift für Musik. 113 1952, pp. 343–344