L'etichetta è stata fondata come ramo musicale dell'azienda Bertelsmann nel 1958. Nel 1975 è nata una sussidiaria a Los Angeles chiamata Ariola America. Dal 1987 al 2002 la distribuzione della label è stata gestita dalla BMG, poi mutata in Sony BMG dal 2002 al 2008 e quindi in Sony Music Entertainment, alla quale la Ariola è attualmente inglobata.
Nel 1986 venne separato da Ariola l'editore di videogiochi Ariolasoft.
