16 stycznia 1941 został zmuszony do rezygnacji przez rząd japoński, który z powodu wojny pozbywał się obcokrajowców. Otrzymał wówczas biskupstwo tytularneCalydon. Wiosną 1941 musiał opuścić Kraj Kwitnącej Wiśni. Powrócił wówczas do ojczystej Kanady.
26 listopada 1942 został administratorem apostolskim diecezji Gravelbourg, a 15 kwietnia 1944 papież Pius XII mianował go pełnoprawnym ordynariuszem tego biskupstwa. Głównym problemem diecezji Gravelbourg u początku pontyfikatu bpa Lemieuxa był ogromny dług zaciągnięty na budowę kościołów przed wielkim kryzysem. Biskupowi Lemieuxowi udało się go spłacić oraz utworzyć fundusz emerytalny dla księży diecezji. Przywiązywał również dużą wagę do duszpasterstwa oraz propagowania misji. Rozwinął nauczanie religii wśród osób im nieobjętych poprzez kursy wakacyjne oraz kursy korespondencyjne, które adresowane były również do osób dorosłych. Kursy dostępne były w językach francuskim i angielskim.
