Brown avioitui norjalaisen olympiamitalistin Thorleif Schjelderupin kanssa, ja pari asettui Osloon. Brown sai Norjan kansalaisuuden vuonna 1948. Hänen laulajanuransa lopetti vuonna 1953 puhjennut astma, mutta laulunopettajana hän oli edelleen suosittu. Hänen oppilaitaan olivat muiden muassa Liv Ullmann ja Åse Kleveland.
Brown nimettiin vuonna 1999Baltimoren kunniakansalaiseksi.