Distance en variation totale (probabilités)

En mathématiques et plus particulièrement en théorie des probabilités et en statistique, la distance en variation totale (ou distance de variation totale ou encore distance de la variation totale) désigne une distance statistique définie sur l'ensemble des mesures de probabilité d'un espace probabilisable.

Définition

Soit ${\displaystyle \mu ,\nu }$ deux mesures de probabilité sur un espace probabilisable ${\displaystyle (\Omega ,{\mathcal {F}})}$. La distance en variation totale entre ${\displaystyle \mu }$ et ${\displaystyle \nu }$ est la quantité

${\displaystyle d_{VT}(\mu ,\nu ):=2\sup _{A\in {\mathcal {F}}}|\mu (A)-\nu (A)|}$.

Il arrive que le facteur 2 n'apparaisse pas chez certains auteurs.^{[réf. nécessaire]}

Soit ${\displaystyle X}$ et ${\displaystyle Y}$ deux variables aléatoires à valeurs dans le même espace. On peut aussi définir la distance en variation totale entre ${\displaystyle X}$ et ${\displaystyle Y}$ comme la distance en variation totale entre la loi de ${\displaystyle X}$ et celle de ${\displaystyle Y}$. Autrement dit, on pose

${\displaystyle d_{VT}(X,Y):=d_{VT}(\mathbb {P} _{X},\mathbb {P} _{Y})}$.

Propriétés

Propriétés basiques

• La distance en variation totale entre deux mesures de probabilité est une distance dont la valeur est toujours incluse dans [0,2].
• La distance en variation totale entre deux mesures de probabilité vaut 2 si et seulement si les supports des deux mesures sont disjoints.

Définitions équivalentes

On trouve parfois d'autres définitions pour la distance en variation totale.

• La formule suivante donne une définition équivalente à la première^[1]

${\displaystyle d_{VT}(\mu ,\nu )=\sup _{f:\Omega \to [-1,1]{\text{ mes.}}}\left\{\int fd\mu -\int fd\nu \right\}}$

où le supremum est pris sur l'ensemble des fonctions mesurables à valeurs dans [-1,1].

De cette formule, on déduit la chose suivante. Si ${\displaystyle \mu }$ et ${\displaystyle \nu }$ sont absolument continues par rapport à une mesure commune sigma-finie ${\displaystyle \sigma }$ et si on note ${\displaystyle h}$ et ${\displaystyle g}$ leurs dérivées de Radon-Nikodym respectives par rapport à ${\displaystyle \sigma }$, alors

${\displaystyle d_{VT}(\mu ,\nu )=\int |h-g|d\sigma =||h-g||_{L^{1}(\sigma )}}$.

En d'autres termes, la distance en variation totale entre ${\displaystyle \mu }$ et ${\displaystyle \nu }$ correspond à la distance entre ${\displaystyle h}$ et ${\displaystyle g}$ pour la norme ${\displaystyle L^{1}}$.

• Lorsque ${\displaystyle \Omega }$ est dénombrable la formule suivante donne aussi une définition équivalente^[2]

${\displaystyle d_{VT}(\mu ,\nu )=\sum _{\omega \in \Omega }|\mu (\omega )-\nu (\omega )|}$.

Couplage

Pour tout couple de variables aléatoires ${\displaystyle (X,Y)}$ tel que ${\displaystyle X}$ suit la loi ${\displaystyle \mu }$ et ${\displaystyle Y}$ suit la loi ${\displaystyle \nu }$, on a l'inégalité

${\displaystyle d_{VT}(\mu ,\nu )\leq 2\mathbb {P} (X\neq Y)}$.

De plus, il existe un couple ${\displaystyle (X,Y)}$ tel que ${\displaystyle X\sim \mu }$ et ${\displaystyle Y\sim \nu }$ qui satisfait^[3]

${\displaystyle d_{VT}(\mu ,\nu )=2\mathbb {P} (X\neq Y)}$.

Autrement dit, on a la caractérisation suivante de la distance en variation totale

${\displaystyle d_{VT}(\mu ,\nu )=2\min _{X\sim \mu ,Y\sim \nu }\mathbb {P} (X\neq Y)}$.

Si ${\displaystyle (\mu _{i})_{i\in I}}$ est une famille de mesures de probabilité toutes absolument continues par rapport à une mesure commune ${\displaystyle \sigma }$-finie, alors il existe des variables aléatoires ${\displaystyle (X_{i})_{i\in I}}$ telles que pour tout ${\displaystyle i\in I}$, ${\displaystyle X_{i}\sim \mu _{i}}$ et pour tout ${\displaystyle i\neq j}$^[4]

${\displaystyle \mathbb {P} (X_{i}\neq X_{j})\geq {\frac {4d_{VT}(\mu _{i},\mu _{j})}{1+2d_{VT}(\mu _{i},\mu _{j})}}}$.

Lien avec la norme en variation totale d'une mesure signée

Pour une mesure signée ${\displaystyle \sigma }$ sur ${\displaystyle (\Omega ,{\mathcal {F}})}$ on définit sa norme en variation totale comme

${\displaystyle ||\sigma ||_{VT}:=\sigma ^{+}(\Omega )+\sigma ^{-}(\Omega )}$

où ${\displaystyle \sigma =\sigma ^{+}-\sigma ^{-}}$ est la décomposition de Jordan de la mesure ${\displaystyle \sigma }$.

De manière générale si ${\displaystyle \sigma (\Omega )=0}$ alors^[5]

${\displaystyle ||\sigma ||_{VT}=2\sup _{A\in {\mathcal {F}}}\{|\sigma (A)|\}}$.

En appliquant ce résultat à ${\displaystyle \sigma =\nu -\mu }$ on obtient que

${\displaystyle d_{VT}(\nu ,\mu )=||\nu -\mu ||_{VT}}$.

Lien avec d'autres distances

• La distance en variation totale est reliée à la divergence de Kullback-Leibler par l'inégalité de Pinsker^[6] :

${\displaystyle d_{VT}(\nu ,\mu )\leq {\sqrt {2D_{KL}(\nu ||\mu )}}}$.

• La distance en variation totale est aussi reliée à la distance de Hellinger par l'encadrement^[7] :

${\displaystyle 2H^{2}(\mu ,\nu )\leq d_{VT}(\mu ,\nu )\leq 2{\sqrt {2}}H(\mu ,\nu )}$.

Convergence en variation totale

La convergence d'une suite de mesures pour la distance en variation totale implique la convergence faible (et les limites sont les mêmes le cas échéant). De manière équivalente, si une suite de variables aléatoires converge pour la distance en variation totale, alors elle converge en loi (et les limites sont les mêmes)^[8].

Notes et références

1. (en) « Two notions of total variation norms », sur math.stackexchange.com, 2014.
2. (en) Djalil Chafaï, « Back to basics – Total variation distance », sur djalil.chafai.net, 2010.
3. (en) T Lindvall, Lectures on the coupling method, Courier Corporation, 2002 (lire en ligne), Théorème 5.2
4. (en) O Angel et Y Spinka, « Pairwise optimal coupling of multiple random variables », 2021.
5. (en) « Properties of the total variation norm on space of totally finite measure (from Bogachev) », sur mathoverflow.net, 2020.
6. (en) Imre Csiszár et János Körner, Information Theory: Coding Theorems for Discrete Memoryless Systems, Cambridge University Press, 2011 (ISBN 9781139499989, lire en ligne), p. 44
7. (en) Prahladh Harsha, « Lecture notes on communication complexity »^{(Archive.org • Wikiwix • Archive.is • Google • Que faire ?)}, 23 septembre 2011.
8. (en) « convergence in total variation implies convergence in distribution », sur math.stackexchange.com, 2014.

Voir aussi

• Variation d'une mesure
• Mesure signée
• Divergence de Kullback-Leibler
• Distance de Hellinger
• Distance de Bhattacharyya
• Distance statistique