På Tour de France avslutningsdag, oppdaget politiet dopingprodukter i kona, Edita Rumšienė, sin bil. Rumšas hevdet at dopingmidlene var ment for hans svigermor.[1]
I januar 2006 fikk Rumšas fire måneder betinget fengselsstraff for ulovlig import av dopingmidler. Kona, Edita fikk identisk straff, samt bot på 3000 euro, mens den polske doktoren Krzysztof Ficek fikk tolv-måneder betinget fengsel for å skaffet dopingmidlene.[1]
Rumšas testet positivt på EPO etter å ha ligget på sjetteplass i Giro d'Italia 2003.[2] For dette ble han utestengt i tolv måneder.[3]