Sjolochov föddes i kosackbyn Vjosjenskaja nära Rostov-na-Donu och debuterade på 1920-talet med en serie lyriska berättelser med motiv från Sydryssland, Den azurblå stäppen och andra noveller (1926, svensk översättning 1961).
Sjolochov är mest känd för romanen Stilla flyter Don (volym 1–4, 1928–40, svensk översättning 1930–42), som i den ryska realismens tradition kraftfullt och färgrikt skildrar kosacksamhällets sönderfall under revolution och inbördeskrig. Han omarbetade romanen 1953, vilket innebar en tydlig anpassning till den socialistiska realismen. Romanen, med sina starka tids- och livsskildringar, föranledde Sjolochovs Nobelpris i litteratur 1965, och filmatiserades i tre delar (1957–58) av regissören Sergej Gerasimov (1906–85).