Quand la guerre commence, il est parmi les premiers chanteurs à se produire devant les troupes soviétiques. En 1943, il joue dans le film Deux combattants où il interprète deux de ses plus grands succès, Sombre Nuit et Des chalands pleins de mulets(ru).
Le nom de Mark Bernes a été étroitement associé à la Seconde guerre mondiale. Après la guerre, il a continué à chanter sur ce sujet. Ainsi on connait dans son interprétation Serejka de Malaïa Bronnaïa (Серёжка с Малой Бронной) poème écrit par Evgueni Vinokourov en 1953 et mis en musique par Andrei Eschpai en 1958, l'histoire des deux garçons d'un illustre quartier moscovite péris sur le front et des mères de ces garçons qui meurent à petit feu dans la solitude de leurs appartements, alors que la vie continue tout autour.
En 1969, il meurt d'un cancer du poumon, peu après avoir enregistré Les Grues, chanson écrite par Rassoul Gamzatov, où il imagine que les soldats qui ont péri au front se changent en grues dans le ciel.
