Masjid ini dibangun atas prakarsa dari Syekh Ibrahim Musa atau dikenal dengan Inyiak Parabek sekembalinya dari Mekkah pada tahun 1908. Pada tahun 1926 masjid ini mengalami perbaikan untuk pertama kalinya. Namun, ketika masih dalam pengerjaan, terjadi gempa bumi sehingga mengakibatkan perbaikan terhenti sementara waktu. Atas swadaya masyarakat setempat, pada tahun 1933 pengerjaan perbaikan kembali dilanjutkan dan dapat diselesaikan pada tahun 1935.
Masjid yang berukuran 50 x 50 m ini sampai sekarang berdiri kokoh dengan arsitektur khusus. Dalam pembangunan masjid ini, Soekarno memuji coran beton sejumlah tiang di masjid ini yang dibangun tanpa besi. Pengakuan Soekarno itu selaku engineer memang terbukti. Sejak selesai dibangun pada tahun 1933 sampai sekarang memang tiang-tiang itu tercatat tidak pernah retak walaupun beberapa kali gempa besar melanda Sumatera Barat. Tiang-tiang itu berupa beton berukir, yang bertulisan ayat-ayat Al-Quran di sekelingngnya.[2]
Pada tahun 2002, dilakukan perbaikan kecil dan pengecatan di sekitar masjid ini.
