Carroll e sua irmã realizaram uma performance de dança em um concurso local de talentos amadores. Isso levou-a a uma carreira nos palcos da Broadway e depois ao estrelato nas telas. Ela se tornou uma atriz bem sucedida em filmes falados pois sua aptidão musical permitia que ela atuasse em musicais na década de 1930. Sua estreia no cinema foi em Ladies Must Dress em 1927.
Sob contrato com a Paramount Pictures, Carroll muitas vezes rejeitava os papéis que o estúdio lhe oferecia e ganhou uma reputação de atriz teimosa e não cooperativa. Apesar de sua habilidade de atuar com sucesso em comédias leves, melodramas chorosos e até mesmo em musicais, e também conquistar consideráveis elogios dos críticos e do público - ela recebia o maior número de cartas de fãs do que qualquer outra estrela no início dos anos 1930 - ela foi liberada do contrato pelo estúdio. No meio da década de 1930 sob um contrato de quatro filmes com a Columbia Pictures, ela fez filmes bastante insignificantes e já não era mais uma atriz de primeiro nível.
Carroll se aposentou das telas em 1938, voltou aos palcos e estrelou a série de televisão The Aldrich Family em 1950. No ano seguinte, ela co-estrelou na versão televisiva de The Egg and I, estrelado por sua filha, Patricia Kirkland.
Morte
Em 6 de agosto de 1965, Carroll foi encontrada morta depois de não chegar ao teatro para uma performance. A causa de sua morte foi um aneurisma. Ela tinha 61 anos de idade. Seus restos mortais estão enterrados no Calvary Cemetery, Queens, Nova Iorque.[3]