Rabiu fu firmato dal Gimnàstic il 31 gennaio 2008 proveniente dal Liberty, all'età di 18 anni, l'età minima per un trasferimento internazionale.[3] Giocò la sua prima partita il 18 maggio 2008 contro il Sevilla Atlético, ma lasciò il club dopo 6 mesi e si trasferì al Xerez CD.[4] Lì, giocò la sua prima partita l'11 novembre 2008 contro il CD Tenerife. Il 7 agosto 2009, U.C. Sampdoria prese a prestito il centrocampista ghanese dalla Liberty Professionals FC, il forte mediano fece parte della squadra giovanile della Sampdoria.[5] Dopo una stagione, si unì alla squadra di Serie A dell'Udinese Calcio, poiché il club acquisì il contingente di registrazione dalla Sampdoria.
Évian FC
Il 4 agosto 2010, si allenò con l'Évian Thonon Gaillard per un possibile prestito,[6] il che fu confermato alla fine di agosto.[7] Debuttò il 17 ottobre 2010, disputando 10 partite durante la stagione[8] Il 28 giugno 2011, l'Évian ottenne la promozione in Ligue 1 nella stagione 2010-11, e completò un contratto permanente quinquennale per Rabiu, per una cifra di €1M.[9]
Kuban Krasnodar
Il 22 agosto 2013, Rabiu firmò un contratto triennale con il Kuban Krasnodar, per una cifra riferita di €2,6M.[10][11]
FC Anzhi Makhachkala
Il 16 agosto 2016, firmò un contratto di 3,5 anni con l'FC Anzhi Makhachkala.[12] Non giocò nessuna partita per l'Anzhi nella prima metà della stagione 2016-17 in quanto si stava riprendendo da un infortunio. Il 30 dicembre 2016, l'Anzhi lo rimosse dal loro organico in vista della Russian Premier League.[13] Il 6 febbraio 2017, un altro club russo, il FC Dynamo Moscow, confermò che stavano valutando l'invito a Rabiu per un provino.[14] Il 9 febbraio 2017, il suo agente disse che Rabiu si stava ancora riprendendo da un infortunio e non avrebbe partecipato al provino con il Dynamo, e che poteva ancora tornare all'Anzhi per il resto della stagione 2016-17.[15][16] La scadenza per la registrazione per la stagione 2016-17 scadde il 24 febbraio 2017 senza che Rabiu fosse riregistrato per l'Anzhi.
Il 23 luglio 2018, l'FC Anzhi Makhachkala annunciò di aver rinnovato il contratto con Rabiu dopo il suo recupero dall'infortunio.[17]
Dopo l'Anzhi Makhachkala
Il 23 febbraio 2019, il Krylia Sovetov annunciò l'acquisto di Rabiu.[18] Il 7 luglio 2019, il Krylia Sovetov annunciò che Rabiu aveva lasciato la squadra a causa di problemi di salute.
Il 21 agosto 2019, tornò in Francia firmando un contratto stagionale con il Paris FC.[19]
^(FR) Mohammed Rabiu à l'essai, in Évian Thonon Gaillard FC, 4 agosto 2010. URL consultato il 17 agosto 2010 (archiviato dall'url originale il 10 luglio 2011).
^ITALY/ OFFICIAL, Udinese loan Rabiu, su transfermarketweb.com, 21 agosto 2010. URL consultato l'8 agosto 2014 (archiviato dall'url originale il 4 marzo 2016).
^Rabiu Mohammed debuts for Evian TG, in ghanasoccernet.com, 17 ottobre 2010. URL consultato l'8 agosto 2014 (archiviato dall'url originale il 9 agosto 2014).
^(FR) Mohammed Rabiu rejoint le Paris FC, su parisfc.fr, Paris FC, 21 agosto 2019. URL consultato il 30 settembre 2019 (archiviato dall'url originale il 28 settembre 2019).