L'album a reçu des critiques très mitigées. Sur la base de musique Metacritic, il a reçu une note moyenne de 54 sur 100[6].
Stephen Thomas Erlewine d'AllMusic a donné à l'album 2,5 étoiles sur 5. Il fait valoir que « Carrie Underwood est encore nominalement une artiste country et parfois même si elle chante appuyée par des violons et des guitares en acier, ce n'est une chanteuse pop pure et simple, que ce soit les rythmes de tonnerre dans le style de Shania Twain comme dans Cowboy Casanova ou la succession de mélodies larmoyantes sur ces ballades »[1].
Sean Daly du St. Petersburg Times affirme que Play On est « le plus faible des albums de Carrie Underwood à ce jour », mais prévoit que l'album se vendent très bien. Il ajoute « Cowboy Casanova, coécrit par son copain Mike Elizondo, est une morsure comme Before He Cheats et Last Name ». À propos de la chanson Someday When I Stop Loving You il dit qu'elle « a un vague sens des années 70 et rappelle tous ces grands morceaux du vieux Chicago ».
Blake Boldt de 9513 Country Music a donné à 3 étoiles 5. Il déclare « Le troisième disque de Carrie Underwood, Play On, commence de façon prometteuse, avec Cowboy Casanova, une ode à un dur Lothaire, des charrues le long d'une guitare électrique. À son meilleur, Carrie Underwood excelle dans la manipulation des plus beaux contes que Nashville à offrir. Le titre fort de l'album est Someday When I Stop Loving You, une chanson encadrée merveilleusement par sa performance délicate, tandis que What Can I Say, en collaboration avec les frères et sœurs trio Sons of Sylvia est une solution simple et élégante de déclaration de la nostalgie. Il a ajouté que les 45 minutes restantes, cependant, sont plus que honky tonk. Play On est un plaisir pop, avec un peu de prétention de la production qui a complètement vidé de son bien les deux premiers disques »[4].
