Il 21 giugno 1941 l'Ungheria entrò come alleata dei nazisti nella seconda guerra mondiale. Quando, nel settembre 1944, l'Armata Rossa entrò in Ungheria Rákosi tornò nuovamente nel suo paese; il 21 dicembre i sovietici stabilirono un governo alternativo a Debrecen. Tuttavia, le elezioni del novembre 1945 diedero la maggioranza assoluta agli agrari e solo un sesto dei voti al Partito Comunista Ungherese, per cui i sovietici imposero un governo di coalizione, in cui Rákosi era vice primo ministro e László Rajk, suo compagno di partito, ministro dell'interno.
Già nel 1947 nuove elezioni diedero ai social-comunisti la maggioranza relativa e ai comunisti il controllo del governo: la Repubblica Popolare d'Ungheria fu ufficialmente costituita il 18 agosto 1949, sancendo l'ingresso del paese nell'orbita dell'Unione Sovietica. Con l'avvento del sistema sovietico del partito unico in Ungheria, Rákosi fu nominato segretario generale del Partito Comunista Ungherese.
Rákosi si definiva il miglior discepolo ungherese di Stalin. Mise in atto un regime autoritario, consolidando il suo potere personale. Inventò anche il termine "tattica del salame", a significare che eliminava ogni opposizione quasi fetta dopo fetta. Fra gli altri, già nel febbraio 1947 fece iniziare gli arresti dei politici agrari e contadini, il 26 dicembre 1948 incarcerò e in cinque settimane fece condannare all'ergastolo il cardinale József Mindszenty e nell'ottobre 1949 fece impiccare per "titoismo" il rivale Rajk.
Il regime stalinista di Rákosi collettivizzò l'agricoltura con la forza e puntò ad una rapida industrializzazione pesante, ma non ottenne grandi successi economici. Nell'agosto 1952 Rákosi divenne anche primo ministro ma il 13 giugno 1953, convocato a Mosca, fu costretto a dimettersi da questa carica a favore di Imre Nagy, a lui inviso, pur mantenendo la carica di segretario generale del Partito.
Dopo l'insediamento, il 4 luglio, il governo Nagy prese diverse misure di liberalizzazione e iniziò la liberazione di prigionieri politici vittime delle "purghe" di Rákosi. Tuttavia, nel gennaio del 1955 il Politburo sovietico convocò nuovamente al Cremlino i dirigenti ungheresi e attaccò violentemente Nagy, sulla base di un dossier preparato da Jurij Vladimirovič Andropov, allora ambasciatore sovietico a Budapest. Poco dopo Nagy ebbe un lieve infarto; dimesso dall'ospedale, durante la sua convalescenza (18 aprile 1955) divenne primo ministro András Hegedüs, un uomo di Rákosi.
Il 14 maggio 1955 il governo Hegedüs firmò l'adesione dell'Ungheria al Patto di Varsavia che legava l'URSS ed i "Paesi satelliti" in un'alleanza militare di "reciproca assistenza". Rákosi continuò a regnare per interposta persona, ma la sua libertà di movimento era limitata da Mosca, che non voleva il ritorno ai metodi del passato. Riuscì però a far espellere Nagy dal partito il 3 dicembre 1955. Tuttavia, pochi mesi dopo il famoso discorso anti-staliniano di Nikita Chruščёv al XX Congresso del PCUS, su pressione del Politburo sovietico il 18 luglio 1956 Rákosi fu costretto a dimettersi da segretario generale del Partito e fu sostituito da Ernő Gerő, già suo luogotenente.
Il 13 ottobre 1956 Nagy venne riammesso nel partito. Allo scoppio dell'insurrezione ungherese (23 ottobre 1956), Nagy fu nominato primo ministro e Rákosi fuggì in Unione Sovietica. Nonostante la quasi immediata repressione ad opera dell'Armata Rossa, gli stessi governanti sovietici non gli permisero di rientrare in patria e gli preferirono János Kádár alla guida dell'Ungheria. Morì dunque in Unione Sovietica, a Gor'kij, nel 1971.
Matyas Rakosy; Dinanzi al Tribunale speciale. Roma, ECS Ed. di Cultura sociale, 1951.
Matyas Rakosy; Il cammino della nostra democrazia popolare. Lettura tenuta al corso di istruzione del Partito dei lavoratori ungheresi il 29 febbraio 1952.