Critère d'irréductibilité de Mackey

En mathématiques, et plus précisément dans le cadre de la théorie des représentations d'un groupe, le critère d'irréductibilité de Mackey propose une condition nécessaire et suffisante pour qu'une représentation induite soit irréductible. Ce résultat, démontré par George Mackey pour les représentations unitaires de groupes localement compacts^[1], n'est présenté ici que pour les groupes finis.

Énoncé

Précisons d'abord les notations et hypothèses de l'énoncé :

• G désigne un groupe fini d'ordre g et d'exposant e et K est un corps dont la caractéristique ne divise pas g et sur lequel le polynôme X^e - 1 est scindé. Dans ce contexte, deux représentations d'un même sous-groupe de G sont dites disjointes si elles n'ont aucune composante irréductible commune.
• H est un sous-groupe de G.
• W désigne un K-espace vectoriel et θ une représentation de H sur W.
• Ind(θ) est la représentation de G induite par θ.
• Pour tout élément s de G, H_s désigne l'intersection de H avec son conjugué par s :${\displaystyle H_{s}=sHs^{-1}\cap H}$ et deux représentations sur W de ce sous-groupe sont issues de θ :
  • θ^s, « conjuguée^[2] » de θ, définie par :${\displaystyle \forall h\in H_{s}\quad \theta ^{s}(h)=\theta (s^{-1}hs)}$ ;
  • Res_s(θ), restriction (en) de θ à H_s.

Le critère de Mackey s'énonce de la manière suivante :

La représentation Ind(θ) est irréductible si et seulement si θ est irréductible et pour tout s ∉ H, les deux représentations de H_s issues de θ, θ^s (conjuguée) et Res_s(θ) (restriction), sont disjointes.

Dans le cas où H est un sous-groupe normal, on a H_s=H et Res_s(θ)=θ, d'où ce corollaire :

• Si H est normal dans G, Ind(θ) est irréductible si et seulement si θ est irréductible et n'est isomorphe à aucune de ses conjuguées θ^s, pour s∉H.

Démonstration

Restriction d'une représentation induite à un sous-groupe

Notons (V,ρ)=Ind(θ) et déterminons la restriction Res_S(ρ) de ρ à un autre sous-groupe S de G.

Pour cela,

• choisissons un ensemble de représentants des doubles classes de G modulo (H,S), c'est-à-dire un sous-ensemble C de G tel que les ScH, quand c parcourt C, forment une partition de G (c'est l'analogue, pour les doubles classes, de la notion de transversale pour les classes suivant un sous-groupe), et
• généralisons la définition précédente des H_s et des θ^s (qui correspondait au cas S=H) : pour tout élément c de G – les seuls qui interviendront seront les éléments c du système C de représentants – H_c désigne à présent le sous-groupe de S${\displaystyle H_{c}=cHc^{-1}\cap S}$et θ^c est la représentation sur W de ce sous-groupe définie par la même formule que précédemment.

Ceci permet de formuler un lemme :

• La restriction à S de Ind(θ) est la somme directe des représentations Ind_Hc^S(θ^c) quand c parcourt un ensemble C de représentants des doubles classes de G modulo (H,S).

Démonstration

Pour tout élément c de C, soit T_c une transversale à gauche pour H_c dans S, contenant l'élément neutre. Alors la réunion des T_c.c forme une transversale à gauche pour H dans G, donc par définition de la représentation induite (V,ρ)=Ind(θ), V est la somme directe des ρ_sc(W) quand c décrit C et s décrit T_c. En notant, pour c fixé, W_c le sous-espace ρ_c(W) et V_c la somme directe des ρ_s(W_c) quand s décrit T_c on obtient donc : V est la somme directe des S-modules V_c, et ces derniers sont équivalents aux Ind_Hc^S(θ^c), puisque le H_c-sous-module W_c de V_c est isomorphe à (W,θ^c), par l'opérateur d'entrelacement de W dans W_c qui à tout vecteur w associe ρ_c(w).

Preuve du critère en caractéristique nulle

La démonstration est une application directe du lemme ci-dessus dans le cas S=H et de la formule de réciprocité de Frobenius, en notant, pour tout sous-groupe L de G, < | >_L la forme bilinéaire symétrique canonique sur les fonctions centrales sur L, et <ρ₁|ρ₂>_L le résultat de cette forme appliquée aux caractères de deux représentations ρ₁ et ρ₂ de L.

Comme la caractéristique de K est supposée nulle, la représentation (V, ρ) est irréductible si et seulement si <ρ|ρ>_G = 1. La formule de réciprocité de Frobenius s'exprime de la manière suivante :

${\displaystyle \langle \rho ~|~\rho \rangle _{G}=\langle \mathrm {Ind} _{H}^{G}\theta ~|~\rho \rangle _{G}=\langle \theta ~|~\mathrm {Res} _{H}^{G}\rho \rangle _{H}.}$

Or d'après le lemme ci-dessus, si C est un système de représentants des doubles classes modulo (H,H) :

${\displaystyle \langle \theta ~|~\mathrm {Res} _{H}^{G}\rho \rangle _{H}=\langle \theta ~|~\oplus _{c\in C}\mathrm {Ind} _{H_{c}}^{H}\theta ^{c}\rangle _{H}=\sum _{c\in C}\langle \theta ~|~\mathrm {Ind} _{H_{c}}^{H}\theta ^{c}\rangle _{H}.}$

En appliquant à nouveau la formule de Frobenius, le terme courant de cette somme est égal à :

${\displaystyle \langle \theta ~|~\mathrm {Ind} _{H_{c}}^{H}\theta ^{c}\rangle _{H}=\langle \mathrm {Ind} _{H_{c}}^{H}\theta ^{c}~|~\theta \rangle _{H}=\langle \theta ^{c}~|~\mathrm {Res} _{c}(\theta )\rangle _{H_{c}}}$

Ce terme est nul si θ^c est disjointe de Res_c(θ) et supérieur ou égal à 1 sinon. On peut toujours supposer que pour la double classe particulière H1H=H on a choisi comme représentant c=1. Or les représentations θ¹ et Res₁(θ) de H₁=H sont égales à θ donc non disjointes. Pour que <ρ|ρ>_G soit égal à 1, il est donc nécessaire et suffisant que <θ|θ>_H soit égal à 1 – c'est-à-dire que θ soit irréductible – et que pour tout élément c de C différent de 1, θ^c soit disjointe de Res_c(θ). Par équivalence, il en sera alors de même pour n'importe quel autre représentant de la même classe double, ce qui termine la démonstration.

Notes et références

1. (en) George W. Mackey, « Induced Representations of Locally Compact Groups I », Ann. of Math., 2^e série, vol. 55, n^o 1,‎ janvier 1952, p. 101-139, 1^e page sur Jstor
2. À ne pas confondre avec la notion de représentation conjuguée.

Lien externe

(en) Finite Group Representations for the Pure Mathematician, par Peter Webb