Entre 1982 e 1987 foi presidente da conferência de bispos católicos do Lesoto. Assim que completou 75 anos apresentou a sua renúncia, no entanto manteve-se à frente da sua diocese até à nomeação do seu sucessor em 11 de fevereiro de 2014. Encabeçou portanto durante 37 anos a diocese de Mohale's Hoek, período no qual o número de católicos mais que quadruplicou.[4]
Khoarai foi criado cardeal pelo Papa Francisco no consistório de 19 de novembro de 2016, e é o primeiro lesotiano a ser nomeado cardeal.[5]
Morreu em 17 de abril de 2021, aos 91 anos de idade.[6]