Il est appelé sous les drapeaux en août 1939 et affecté au groupe aérien d'observation 512. En mars 1940, il est muté au groupe aérien d'observation 582, du groupe expéditionnaire du Levant.
En , Jean Pompei devient chef de cabinet du général du corps aérien et commandant adjoint des Forces aériennes françaises libres. En décembre, il est envoyé en mission de liaison et d’information en Afrique du Nord.
En , il devient secrétaire à la Commission de débarquement à Londres, puis en , chargé de mission au commissariat de l’intérieur à Alger.
En janvier 1944, il est nommé préfet d’Oran, puis en juillet 1947, chargé de mission à l’inspection générale des services administratifs.