Ennen kansanedustajaksi valintaansa Rimmi työskenteli vuodesta 1957 leipurin ammatissa. Vuodesta 1972 alkaen hän on toiminut myös Tampereen kaupunginvaltuuston jäsenenä. Vuodet 1990–1991 hän oli kaupunginvaltuuston toinen varapuheenjohtaja. Rimmi on toiminut myös Suomen Ammattiliittojen Keskusjärjestön (SAK) valtuuston jäsenenä vuodet 1966–1991 ja sen varapuheenjohtajana vuodet 1981–1991 sekä vuodet 1961–1989 Suomen Elintarviketyöläisten Liiton (SEL ry) liittotoimikunnan jäsenenä.