Wytwórnia Atlantic założona została w roku 1947 przez Ahmeta Ertegüna i Herba Abramsona(inne języki). Na początku zajmowała się głównie jazzem, R&B oraz muzyką country. Na początku lat 50. do Ahmeta dołączył Jerry Wexler i Nesuhi Ertegün. Od roku 1955 Nesuhi stał na czele oddziału jazzowego i był odpowiedzialny za główne kontrakty firmy, z takimi muzykami jak Charles Mingus i John Coltrane; w późniejszym czasie został zastąpiony przez Joela Dorna. Inżynier dźwięku, a później producent – Tom Dowd – stał na czele wydziału technicznego. Chociaż wytwórnia Atlantic zaczynała jako firma niezależna, to już wkrótce zajęła ważną pozycję na rynku wydawniczym lat 60., głównie dzięki kontraktom z głównonurtowymi gwiazdami muzyki pop, takimi jak Sonny and Cher. Jej głównymi rywalami były Columbia Records i RCA Records.
Od początku swojej działalności wytwórnia stworzyła, a także wykupiła kilka mniejszych wytwórni – w 1955 Herb Abramson otworzył Atco Records, a w listopadzie tego roku wykupiono wytwórnię Spark Records. Inne wytwórnie należące do grupy Atlantic to m.in. 143 Records oraz Lava Records(inne języki). W 1967 wytwórnię Atlantic kupiła firma z Warner Bros. – Seven Arts – a obecnie jest częścią Warner Music Group, byłego oddziału konglomeratu mediowego Time Warner, który został sprzedany inwestorom w roku 2004.
W maju 1988 odbyła się uroczystość z okazji czterdziestej rocznicy powstania wytwórni, a uświetniły ją występy wielu artystów, których albumy wydane zostały w Atlantic – doszło między innymi do występów zespołów, które były do tej pory „w stanie spoczynku” – takich jak Led Zeppelin czy Crosby, Stills and Nash.
Na początku lat 90. wytwórnia Atlantic posiadała 50% akcji Interscope Records wydającej albumy z gatunku gangsta rap – z czego wiele we współpracy z Death Row Records. Presja ze strony grup działaczy politycznych przeciwnych gatunkowi gangsta rap doprowadziła do sprzedania udziałów tej firmy.
Obecnie dyrektorem generalnym i prezesem Atlantic Records jest Craig Kallman. Ahmet Ertegün sprawował funkcję „prezesa założyciela” aż do swojej śmierci 14 grudnia 2006 w wieku 83 lat.
W latach 1968–1973 Atlantic Records wydawała płyty zespołu Led Zeppelin, po czym stworzył on własną wytwórnię w obrębie Atlantic – Swan Song Records.