Rosen syntyi Spartanburgissa, Etelä-Carolinassa, mutta muutti perheensä mukana puolitoistavuotiaana Miamiin. Hän palveli toisen maailmansodan aikana Yhdysvaltain laivastossa, josta palattuaan hän saattoi tehdä MLB-debyyttinsä 10. syyskuuta 1947.[3][2] Hänen uraansa mahtui 192 kunnaria ja 717 lyötyä juoksua (RBI).[2]
Rosen oli American Leaguen kunnarimestari (1950, 1953) ja lyötyjen juoksujen mestari (1952, 1953).[2]Juutalaisena hän pääsi vuonna 1980 Israelin International Jewish Sports Hall of Fameen.[4]