Albert Roussel vart fødd i Tourcoing, nord i Frankrike, nær grensa til Belgia. Faren var ein velståande industrimann, men begge foreldra døydde medan Albert Roussel var liten. Han voks difor opp hjå bestefar sin, borgarmeisteren i byen, og frå 1880 hjå ei tante. I oppveksten synte han stor interesse for matematikk, men hadde alt då musikalsk talent og fekk to års musikkundervisning i Paris. I 1887 meldte han seg for den franske marinen, og fekk løytnantgraden i 1899. Frå 1899-1890 var han med i mannskapet på ein fregatt som reiste til Cochinkina i Vietnam. Under marinetenesta hans, hadde han allereie gjort sine fyrste komposisjonsforsøk. Roussel abdiserte frå marinen i 1894.
Same året tok han til å studera musikk under Eugène Gigout. 4 år seinare kom han inn på den nyoppstarta musikkskulen Schola Cantorum i Paris, og sjølv var han professor ved skulen frå 1902 - 1914. Her ved skulen komponerte han sine fyrste, viktige verk. Klavertrio, Opus 2 vart fullført i 1902, og den fyrste symfonien hans, Le poème de la forêt stod klår i 1906. I 1908 fullførte han sin fyrste fiolinsonate.
I 1908 gifte Albert Roussel seg med Blanche Preisach, og året etter la dei to ut på ei lang ferd gjennom India og Søraust-Asia. Inntrykka frå reisa kan gjenkjennast i orkesterverket Évocations (1910-11), samt operaballettenPadmâvatî (1914-18). I denne perioden var Roussel også inspirert av impresjonismen, særleg av komponisten Maurice Ravel, men også Claude Debussy. Hans mest kjende verk, Le festin de l'araignée (1912) - «Festmåltidet åt kongroa», er også skrive i impresjonistisk stil.
Under fyrste verdskrigen tente Roussel fyrst ein periode hjå Raudekrossen, før han vart transportoffiser frå 1915 - 1918. Det året vart han erklært tenesteudyktig, og vart send til kystbyen Perros-Guirec i Bretagne for å koma til krefter att. Her oppheldt han seg til 1922 og brukte tida til å fullføra balletten Padmâvatî og å skriva sin andre symfoni. Kritikarane meinte denne var vanskeleg tilgjengeleg, og ved urframføringa i 1922 vart han bryskt avvist. Etter dette vendte Roussel seg i ei enklare, nyklassisistisk retning.
I 1922 skaffa Roussel seg eit hus i ein botanisk hage i landsbyen Varengeville-sur-Mer ved kysten av Normandie. Helsa hans var skrantande på denne tida, men kreativiteten var likevel framleis kraftfull. Han komponerte no ein klaverkonsert (1927), balletten Bacchus et Ariane (1930), symfoni nummer 3 (1930) og nr. 4 (1934), ei sinfonietta (1934), balletten Aeneas (1935), ein cellokonsert (1936) samt mykje kammermusikk. På sekstiårsdagen hans i 1929 vart han feira i Paris med ein stor Rousselfestival, som ein av dei leiande franske komponistane i samtida.
Utmatta av mykje arbeid reiste han til Royan sommaren 1937 for helsa si skuld. Der døydde han den 23. august same året av eit hjarteinfarkt. Etter eige ynskje vart han gravlagd på kyrkjegarden i Varengeville-sur-Mer.
Verkliste (utdrag)
Symfoniar
Le poème de la forêt op.7 (1904-06)
Symfoni nr. 2 i B-dur op.23 (1919-21)
Symfoni nr. 3 i G-moll op.42 (1929-39)
Symfoni nr. 4 i A-Dur op.53 (1934)
Sceneverk
Le marchand de sable qui passe. op.13 (1908)
Le festin de l'araignée. Ballett-Pantomime op.17 (1912)