Hij richtte Atlantic Records in 1947 op samen met Herb Abramson in New York. Later stopte Abramson ermee wegens materiële redenen, waardoor Atlantic Records volledig onder gezag kwam van Ertegün. Met Atlantic Records hebben ze een label opgericht waaronder, tot de dag van vandaag, veel succesvolle platen zijn geproduceerd. Volgens Ertegün was "black music" de stroming waarvan hij hield. Hij ging ook naar de talentenjachten in het zuiden van Amerika om er mensen te vinden die de "Soul and the Blues" in zich hadden.
Later werd zijn firma gekocht door Warner Bros. Entertainment. Toch behield Ertegün een grote invloed binnen Atlantic Records. Tevens waren er dochterlabels onder het gezag van Atlantic Records zoals ATCO en Interscope Records, waarvan de laatste vorm gaf aan "urban music". Atlantic Records was ook het label dat als eerste een rhythm-and-blues plaat had uitgebracht.
Hij heeft ook de New York Cosmos opgericht, een voetbalploeg in New York waar vele vedetten als Pelé en Franz Beckenbauer speelden. In Turkije heeft hij een ziekenhuis opgericht genaamd 'The American Hospital'.