Ved slutningen af 2. verdenskrig deltog han i etableringen af det konservative folkeparti (ÖVP), hvis parlamentsgruppe han var formand for i perioden 1945 – 1953. Han var endvidere partiformand 1951 – 1960.
I 1953 blev Julius Raab den første folkevalgte forbundskansler i Østrigs historie, selvom Østrigerne havde gået til valg siden 1945 skulle kansleren godkendes af de allieredes 4 guvernører indtil besættelsen ophørte i 1955, og først i 1953 godkendte de allierede østrigernes valg. Han afløste Leopold Figl, der i 1945 blev udpeget af parlamentet som forbundskansler. Figl blev udnævnt til udenrigsminister i Julius Raabs regering. ÖVP og socialdemokraterne (SPÖ) indgik i koalitionsregeringer i over 20 år, hvorfor både Adolf Schärf og Bruno Kreisky indgik i Raabs regering. Som forbundskansler vandt Raab international anerkendelse for at have stabiliseret landets økonomi og dets politiske situation.
Raab forbindes særligt med Østrigs selvstændighed og landets statstraktat fra 1955, som gjorde Østrig til en suveræn stat og dermed betød slutningen på de allieredes besættelse af landet. Under Raab blev Østrig i 1955 medlem af FN. Endvidere deltog Raab den 4. januar1960 på Østrigs vegne i dannelsen af den europæiske frihandelsorganisation (EFTA).
