Народився 27 вересня1986 року в місті Байонна. Вихованець футбольних шкіл клубів «Байонна» та «Монако», з яким Стефан уклав молодіжний контракт 2003 року.
У дорослому футболі дебютував 2005 року виступами на умовах оренди з «Монако» за команду клубу «Байонна», в якій провів один сезон, взявши участь у 38 матчах чемпіонату.
Після завершення оренди у 2006 році перейшов до дорослої команди «Монако». Спочатку був резервним голкіпером, а з сезону 2008/09 став основним воротарем команди. Відіграв за команду з Монако п'ять сезонів своєї ігрової кар'єри.
До складу «Сент-Етьєна» перейшов 2011 року. У новому клубі відразу ж став основним голкіпером, а згодом і капітаном команди.
Виступи за збірну
2010 року дебютував в офіційних матчах у складі національної збірної Франції, відтоді довгий час до лав національної команди не залучався.
У травні 2014 року був доданий до заявки збірної Франції для участі у фінальній частині тогорічного чемпіонату світу у зв'язку із травмою Стіва Манданди. Руфф'є виходив на поле в одному з підготовчих матчів, однак власне чемпіонат провів на лаві запасних.
У 2015 провів ще один товариський матч за збірну (проти Данії 29 березня на рідному стадіоні «Жоффруа-Гішар»). З вересня 2015 до збірної не викликався: тренер Дідьє Дешам пояснив, що прийняв це рішення після розмов з гравцем, та відтоді надавав перевагу Альфонсу Ареола на місце третього воротаря[1].