Som datter av en sanglærerinne fikk Anne Brown tidlig skolering innen sang, men ble nektet sangutdanning i hjembyen på grunn av regler om raseskille. Sin utdanning fikk hun derfor ved Morgan College og etter hvert, instutt for Musical Art ved Juilliard School i New York. Hun ble kjent verden over gjennom rollen som Bess i George Gershwins folkeopera Porgy and Bess, urfremført ved The Alvin Theatre i New York 10. oktober1935. Rollen Bess ble spesielt skrevet for hennes stemme. Deretter hadde hun roller på Broadway, foretok flere oppsetninger av Porgy and Bess, samt figurerte i filmen om Gershwin, «Rhapsody in Blue».
Etter omfattende turnévirksomhet fra 1942 og to avbrutte ekteskap, reiste Brown på turné til Europa og bosatte seg i 1948 i Oslo, der hun ble gift med skihopperen Thorleif Schjelderup og ble norsk statsborger.
