En 1932, Abe est nommé chef du bureau de la police politique Tokkō, l'équivalent japonais du FBI américain, combinant les fonctions d'investigation criminelle et de contre-espionnage. En vertu des lois de préservation de la paix, la Tokkō est spécialement chargée d'enquêter et de contrôler les groupes et idéologies politiques qui pourraient être une menace pour l'ordre public[1]. Abe se fait rapidement un nom à travers une vigoureuse campagne contre le parti communiste japonais et ses sympathisants suspectés de 1932 à 1933, période durant laquelle 19 personnes arrêtées pour « crimes politiques » meurent durant l'interrogatoire dans les locaux de la police, dont le célèbre écrivain prolétarien Takiji Kobayashi.
Après l'incident du 26 février 1936, Abe devient membre du conseil de l'application de la loi martiale de Tokyo. En 1937, il monte jusqu'au poste de surintendant-général de la police, le plus haut rang de l'administration policière. Il est renommé au même poste en 1940. En 1941, il devient vice-directeur du conseil de planification du cabinet.
En 1945, juste avant la fin de la Seconde Guerre mondiale, Abe est ministre de l'Intérieur dans le cabinet de Kantarō Suzuki et président du conseil de planification du cabinet. Il critique le manque d'abris anti-aérien du Japon, ce qu'il attribue à la peur du gouvernement de la réaction du peuple et ses préoccupations que cela interférerait avec la production de guerre[2]. Il déclare également son opposition à l'acceptation de la déclaration de Potsdam, l'une des conditions imposées pour la capitulation du Japon, craignant une révolte de l'armée impériale japonaise et l'assassinat des signataires de la déclaration d'acceptation[3].