Rainer tvingades den 9 november 1983 att avgå som justitieminister i den så kallade "Raineraffären" sedan Aftonbladet den 1 november hade avslöjat att Rainer med hjälp av avancerade affärstransaktioner, utförda endast i syfte att minimera realisationsvinstskatten på ett under 1981 försålt aktieinnehav, lyckats reducera sin personliga skatt till ett absolut minimum. På en inkomst av 2,4 miljoner kronor och en förmögenhet på 1,5 miljoner kronor hade han på lagligt sätt minskat sin skatt till 10 procent. Detta hade han uppnått genom att göra avdrag och omplaceringar som var juridiskt korrekt men, ansåg många, moraliskt fel av en socialdemokrat. Så sent som i maj 1983 hade Rainer försvarat myndigheters kontroll av medborgarna med motiveringen att "De kontroller av olika slag som myndigheterna vill göra måste ses mot bakgrunden av att många miljarder kronor i avgifter och skatter undandras samhället och därmed alla medborgare när det gäller att tillgodose ändamål som riksdagen har fattat beslut om."[5]
Justitieråd (1983)
Tolv timmar efter det att Rainer fått lämna justitiedepartementet utnämndes han, efter eget önskemål och med stöd av Olof Palme, till justitieråd i Högsta domstolen. Den 18 november framkom det att Rainer i november 1981 fått Riksbankens tillstånd att föra ut fem miljoner kronor till Schweiz för att köpa aktier. Syftet var att få full kontroll över en avliden farbrors bolag. Omedelbart efter köpet av aktierna sålde Rainer bolaget för tolv miljoner kronor. "Schweizaffären" fanns inte med i den redovisning som Rainer lämnade före sin avgång. Statsministern hävdade att han inte informerats och att Rainer svikit hans förtroende. Rainer tvingades den 19 november återigen att lämna in en avskedsansökan, men påstod att han inte hade undanhållit något för statsministern. Olof Palme kom att få hård kritik för den snabba utnämningen av Rainer till justitieråd.[6][förtydliga]
Senare liv
År 1986 utnämndes Rainer till verkställande direktör för Svensk Bilprovning, vilket var den befattning han innehade vid sin död ett knappt år senare. Han är begravd på Norra begravningsplatsen.[7]
I populärkulturen
I säsong 2, avsnitt 11 av tv-serien Svensson, Svensson från 1996 ges familjens marsvin namnet Ove Rainer. [8]