Rose McConnell ble født i Indiana. Hun møtte Huey Long etter at hun vant en kakebakekonkurranse som han hadde organisert. Rose og Huey ble gift i 1913. Etter Hueys død i 1935 ble Rose utnevnt til å tjenestegjøre i United States Senate. Hun vant et suppleringsvalg den 21. april 1936 og tjenestegjorde de resterende månedene av hennes manns periode, men hun avslo å stå til gjenvalg til en seksårsperiode i november 1936. Fordi Hattie Caraway allerede tjenestegjorde i Senatet på tidspunktet av Roses valg så representerte dette første gang at to kvinner satt i Senatet på satte tidspunkt.