Sākoties vācu okupācijai, Osis no 1941. gada 7. jūlija ieņēma Rīgas pašaizsardzības departamenta priekšnieka pulkveža Voldemāra Veisa palīga amatu (kopš decembra Iekšējā drošības departamenta vadītāja palīgs), vēlāk ieņēmis Latvijas aizsardzības vienību štāba priekšnieka un Rīgas kārtības dienesta priekšnieka posteņus. Piedalījies holokausta akcijās Latvijā, tai skaitā masu slepkavību Rumbulā organizēšanā.[1] Organizējis pirmos latviešu policijas bataljonus. No 1942. gada decembra Latvijas aizsardzības vienību sakaru virsnieks pie vācu virspavēlniecības. No 1943. gada jūlija 1. Rīgas latviešu policijas pulka komandieris. Kā šī pulka komandieris piedalījies kaujās pie Ņeveļas. 1943. gada decembrī smagi ievainots. 1944. gada jūlijā dienvidos no Daugavpils komandējis atsevišķu kaujas grupu, pēc tam sakaru virsnieks pie vācu 215. divīzijas. No 1944. gada septembra līdz 1945. gada martam komandējis Latviešu leģiona 19. ieroču SS grenadieru divīzijas 43. (2. latviešu, arī Imantas) grenadieru pulku. Martā pārcelts uz Liepāju19. divīzijas papildinājuma lietu pilnvarotā amatā.
Neilgi pirms kapitulācijas Osis centās organizēt Kurzemes Zemes (Tautas) padomi un izveidot Pagaidu valdību. Vēlāk Osis mēģināja uzstāties kā šīs valdības ministru prezidents. Tautas padomi bija paredzēts sasaukt 1945. gada 8. maijā, taču vācu Kurzemes grupējuma kapitulācijas 8. maijā dēļ tas vairs nebija iespējams.
8. maijā Osim vācu ātrlaivā izdevās no Liepājas atstāt Kurzemi. Viņš nonāca sabiedroto gūstā Vācijā, kur sākotnēji atradās gūstekņu nometnē, vēlāk Vesterbūras internēto nometnē. 1945. gada novembrī atbrīvots. Vācijā darbojies Latvijas Centrālajā padomē un Latvijas Nacionālajā padomē. Piecdesmitajos gados Osis izceļoja uz Apvienoto Karalisti, turpmāk dzīvojis Berdžeshillā, kur 1973. gada 9. aprīlī miris.