Après cinq années de service militaire, de 1880 à 1885, il entre dans l'administration coloniale le . Nommé au Bureau des Affaires politiques, il est promu directeur par le gouverneur du Sénégal, Henri Félix de Lamothe.
À plusieurs reprises Gouverneur général par intérim en AOF, il joue un rôle déterminant dans l'arrestation et le deuxième exil, cette fois en Mauritanie, d'Ahmadou Bamba en 1903[2].
Succédant à Ernest Roume, Martial Merlin est nommé gouverneur général de l'AOF une première fois du au . À son départ, c'est William Merlaud-Ponty qui prend la relève. Lui-même devient gouverneur général de l'AEF du au . Durant son mandat, il décide de renforcer les moyens militaires lors de la Campagne du Borkou et de l'Ennedi, elle se termine par l'occupation des troupes françaises[4].
Lorsque Joost van Vollenhoven quitte le poste à l'AOF le , l'intérim est assuré par Gabriel Louis Angoulvant et Charles Désiré Auguste Brunet, puis c'est Martial Merlin qui reprend ses fonctions à la tête de l'AOF du au . Jules Carde lui succède cette fois.
D'août 1923 à avril 1925, il est gouverneur de l'Indochine française. Le 19 juin 1924, en visite à Canton, il fait l'objet d'une tentative d'assassinat à la bombe, lancée par Phạm Hồng Thái(en)[5], alors qu'il donne un repas en présence des Français résidant dans l'enclave britannique[6]. Cet évènement contribuera à encourager le mouvement de libération nationale[7].
↑Timothy N. Harper, Underground Asia: global revolutionaries and the assault on empire, The Belknap Press of Harvard University Press, (ISBN978-0-674-72461-7)
David Robinson, Sociétés musulmanes et pouvoir colonial français au Sénégal et en Mauritanie, 1880-1920 : parcours d'accommodation (trad. de l'anglais par Henry Tourneux), Karthala, Paris, 2004, p. 122-123 (ISBN2-8458-6485-X)