Дебютира в мъжкия футбол с отбора на Лил през 1982 г. Остава играч на кучетата до 1988 година, когато преминава в Кан. От 1991 до 1992 г. играе в Мартиг, след което се оттегля от професионалния футбол, бидейки за два сезона част от аматьорския Корбей Есон.
Кариера като треньор
През 1994 година Гарсия става играещ треньор на отбора, като запазва треньорската позиция и след като прекратява активната си кариера си през 1996 г.
През 1998 г. става помощник на Робер Нузаре в Сент Етиен. Остава като помощник-треньор в щаба на уелсецаДжон Тошак. По средата на сезон 2000/01 Джон Тошак се оттегля, и Гарсия поема юздите. По това време зелените се намират в зоната на изпадащите, и след като не успява да спаси клуба от изпадане, Руди Гарсия напуска.
През май2002 г. поема третодивизионния Дижон. През сезон 2003/04 успява да изкачи отбора до Лига 2 и го извежда до полуфиналите за Купата на Франция.
През юни2007 година напуска отбора от Бургундия и поема Льо Ман. Под негово ръководство Льо Ман завършва на девето място в Лига 1, което е едно от най-високите класирания в историята на отбора.
По негово време дебют за отбора правят футболисти като Людовик Обраняк, Мичел Бастос и Еден Азар.
През сезон 2009/10 успява да класира отбора до 1/8-финалите на Лига Европа. Кампания 2010/11 е една от най-успешните в клубната история, като кучетата печелят шампионската титла с 8 точки преднина.
Рома
След края на сезон 2012/13 застава начело на италианскияРома. Първата му година, начело на римските вълци е успешна, като Рома завършва на второ място и се класира за Шампионска лига. Сезон 2014/15 е увенчан с още едно второ място. Началото на кампания 2015/16 е добро, като италианския отбор успява да достигне до 1/8-финалите на Шампионската лига, но впоследствие качеството на играта спада, и на 13 януари2016 г. е уволнен.