Rami urodził się na Korsyce, w mieście Bastia, w rodzinie pochodzenia marokańskiego. Karierę piłkarską rozpoczął w klubie Fréjus, skąd w 2006 roku trafił do Lille OSC. W nowych barwach zadebiutował 19 maja 2007 roku w przegranym 1:2 wyjazdowym meczu z AJ Auxerre. 18 października 2008 roku w zremisowanym 2:2 spotkaniu ligowym z Olympique Lyon zdobył swoją pierwszą bramkę dla klubu. Latem 2011 roku przeszedł do hiszpańskiej Valencii. W drugiej połowie 2013 roku został zawieszony przez zarząd klubu za publiczną krytykę drużyny oraz trenera. 12 lipca 2013 roku A.C. Milan oficjalnie poinformował za pośrednictwem swojej strony internetowej, że doszedł do porozumienia z hiszpańską Valencią w sprawie kupna Ramiego, który oficjalnie wzmocnił nowy zespół 12 lipca 2014 roku. Następnie grał w takich klubach jak: A.C. Milan, Sevilla FC, Olympique Marsylia, Fenerbahçe SK, PFK Soczi i Boavista FC. W 2021 przeszedł do Troyes AC.
Kariera reprezentacyjna
20 marca 2008 roku Rami otrzymał swoje pierwsze powołanie do reprezentacji Francji, jednak podczas towarzyskiego spotkania z Anglią nie zadebiutował w niej. 25 marca wystąpił za to w kadrze B, która w nieoficjalnym meczu podejmowała Mali. Ostatecznie pierwsze spotkanie w pierwszej reprezentacji rozegrał 11 sierpnia 2010 roku, gdy Francja przegrała 1:2 z Norwegią. Znalazł się w kadrze na Mistrzostwa Europy 2012.