Syarkawi lahir pada 1911. Ia merupakan putra Syekh Abdul Wahid Saleh, pendiri MTI Tabek Gadang dan salah satu ulama yang mendirikan Persatuan Tarbiyah Islamiyah (Perti).[1] Pendidikan agama ia tempuh di pesantren ayahnya, kemudian ia menjadi guru di madrasah tersebut.[2]
Pada 1950, Syarkawi memegang kepemimpinan MTI Tabek Gadang setelah Syekh Abdul Wahid wafat pada tahun yang sama. Selama mengurus MTI Tabek Gadang, ia banyak dibantu oleh menantu ayahnya, Buya H. Rusli Abdul Wahid, tokoh Perti dan Menteri Negara Urusan Umum pada 1956-1957. Syarkawi mengasuh MTI Tabek Gadang sampai ia wafat pada 1978.[3]
Syarkawi dikenal sebagai salah satu perintis NU di Sumatera Barat.[4] Pada 1955, ia terpilih sebagai anggota Konstituante dari NU.[2]
