Nach der Unabhängigkeit Indonesiens am 17. August 1945 trat Rahmat in die Volkssicherheitsarmee BKR/TKR (Badan Keamanan Rakyat/Tentara Keamanan Rakyat) sowie anschließend in die Streitkräfte Indonesiens ABRI (Angkatan Bersenjata Republik Indonesia) ein. Nachdem er anfangs zwischen 1945 und 1946 Kommandeur eines Bataillons in Ngawi sowie von 1946 bis 1950 Kommandeur des 16. Bataillons in Ronggolawe war, fungierte er zwischen 1950 und 1953 als Kommandeur eines Regiments in Bojonegoro. Im Anschluss war er von 1953 bis 1956 Chef des Stabes des regionalen Militärkommandos Kodam V/Brawijaya in Jawa Timur sowie 1956 kommissarischer Kommandeur dieses regionalen Militärkommandos. Danach wurde er im September 1956 Militärattaché an der Botschaft in Australien sowie nach seiner Rückkehr 1959 Vierter Assistierender Chef des Generalstabes für Logistik und damit ein enger Mitarbeiter des damaligen Chefs des Generalstabes Abdul Haris Nasution.
Daraufhin fungierte Rahmat zwischen 1962 und 1965 im Range eines Generalmajors(Mayor Jenderal) als Kommandeur des nunmehrigen Regionalen Militärkommandos Kodam VIII in Jawa Timur. In diese Zeit fiel der Putschversuch der Bewegung 30. September(Gerakan September Tiga Puluh), der die Massaker in Indonesien 1965–1966 auslöste. Einheiten des von ihm kommandierten Kodam VIII waren aktiv an der Niederschlagung des Putschversuchs, der Massaker sowie die Maßnahmen gegen die Kommunistische Partei Indonesiens PKI (Partai Komunis Indonesia) beteiligt. Anschließend wurde er Vizeminister für besondere Aufgaben sowie Kommandeur des Heeres und war in dieser Funktion maßgeblich an der Umsetzung des Supersemar-Dekrets (Surat Perintah Sebelas Maret) vom 11. März 1966 von StaatspräsidentSukarno beteiligt, das GeneralleutnantSuharto die Ermächtigung gab, alle Maßnahmen zu ergreifen, um nach dem gescheiterten Putschversuch vom 30. September 1965 für Ordnung zu sorgen.
Am 27. März 1966 übernahm er von Soemarno den Posten des Innenministers (Menteri Dalam Negeri). Zugleich fungierte er 1966 für kurze Zeit als Minister für Veteranen und Mobilisierung (Menteri Veteran dan Demobilisasi). Das Amt des Innenministers bekleidete Rahmat, der zu den Nationalhelden Indonesiens(Pahlawan Nasional Indonesia) gehört, bis zu seinem Tode am 8. Januar 1969 und wurde daraufhin von Generalmajor Amir Machmud abgelöst.[1][2][3][4]