Hij was een zoon van de leerhandelaar Frédéric Jacques Prosper De Greef en Marie Madelaine Angéline Devroij. Op jonge leeftijd bleek hij muzikaal zeer begaafd te zijn. Nadat hij op de Leuvense muziekschool al op elfjarige leeftijd zijn eerste prijs had behaald, ging hij in 1873 naar het Koninklijk Conservatorium Brussel. Daar kreeg hij les van Louis Brassin (piano), Joseph Dupont (harmonieleer), Hubert-Ferdinand Kufferath (contrapunt) en directeur François-Auguste Gevaert (compositie). In 1879 – nog maar zeventien jaar – studeerde hij af met de eerste prijs voor piano, gedeeld met Isaac Albeniz. Voor verdere studie ging hij naar Franz Liszt in Weimar, waar hij twee jaar verbleef. Daarna reisde hij als concertpianist door Europa en Noord-Amerika. Ook gaf hij samen met Camille Saint-Saëns een reeks concerten. Hij raakte bevriend met Edvard Grieg, die hem prees als "de beste uitvoerder van mijn muziek die ik ooit ben tegengekomen".
Op zijn dertigste jaar begon Arthur De Greef te componeren. Zijn twee pianoconcerten worden algemeen beschouwd als zijn belangrijkste werken. Vanaf 1887 tot aan zijn dood in 1940 gaf hij les aan het conservatorium in Brussel en leidde heel wat pianisten op. Gedurende de Eerste Wereldoorlog bevond hij zich in Londen.
In 1934 werd hij Commandeur in de Franse Ordre de la Légion d’Honneur. In de tweede helft van de jaren dertig ging De Greefs gezondheid ernstig achteruit. Dat had een grote invloed op zijn concertactiviteiten. De rechterhelft van zijn lichaam geraakte gedeeltelijk verlamd. Hij overleed na een slepende ziekte, 77 jaar oud, op 29 augustus 1940.
Selectie uit zijn werken
Album espagnol voor twee piano's (1881)
Quatre pièces caractéristiques voor viool en piano (ca. 1883)
Suite italienne voor orkest (1888)
Ballade in Form von Variationen über ein flämisches Volkslied (Ik zag Cecilia komen) voor orkest (1889)
Humoresque en sol mineur (1891)
Fantaisie sur de vieilles chansons flamandes voor piano en orkest (1892)
Suite in g-mineur (Largo, Rigodon, Orientale, Springdands norvégien) (1896)
Sonate nr. 1 in d-mineur voor viool en piano (1896, 2e versie 1932)
Coucher de soleil voor piano (1913)
Impressions d’automne voor viool, cello en orkest (1913)