Anterior de Jeffreys

En l'estadística bayesiana, el prior de Jeffreys és una distribució prèvia no informativa per a un espai de paràmetres. Anomenada en honor a Sir Harold Jeffreys, ^[1] la seva funció de densitat és proporcional a l'arrel quadrada del determinant de la matriu d'informació de Fisher:

$${\displaystyle p\left(\theta \right)\propto \left|I(\theta )\right|^{1/2}.\,}$$Té la característica clau que és invariant sota un canvi de coordenades per al vector de paràmetres ${\textstyle \theta }$. És a dir, la probabilitat relativa assignada a un volum d'un espai de probabilitat utilitzant un a priori de Jeffreys serà la mateixa independentment de la parametrització utilitzada per definir l'a priori de Jeffreys. Això fa que sigui d'especial interès per al seu ús amb paràmetres d'escala.^[2] Com a exemple concret, una distribució de Bernoulli es pot parametritzar per la probabilitat d'ocurrència p, o per la relació de probabilitats. Un a priori uniforme ingenu en aquest cas no és invariant a aquesta reparametrització, però sí el prior de Jeffreys.

En l'estimació de màxima probabilitat dels models familiars exponencials, es va demostrar que els termes de penalització basats en l'anterior de Jeffreys reduïen el biaix asimptòtic en les estimacions puntuals.^[3][4]

Reparametrització

Cas d'un paràmetre

Si ${\textstyle \theta }$ i ${\textstyle \varphi }$ són dues possibles parametritzacions d'un model estadístic, i ${\textstyle \theta }$ és una funció contínuament diferenciable de ${\textstyle \varphi }$, diem que el prior ${\textstyle p_{\theta }(\theta )}$ és "invariant" sota una reparametrització si $${\displaystyle p_{\varphi }(\varphi )=p_{\theta }(\theta )\left|{\frac {d\theta }{d\varphi }}\right|,}$$ és a dir, si els priors ${\textstyle p_{\theta }(\theta )}$ i ${\textstyle p_{\varphi }(\varphi )}$ estan relacionats pel teorema habitual del canvi de variables.

Atès que la informació de Fisher es transforma sota reparametrització com $${\displaystyle I_{\varphi }(\varphi )=I_{\theta }(\theta )\left({\frac {d\theta }{d\varphi }}\right)^{2},}$$ definint els priors com ${\textstyle p_{\varphi }(\varphi )\propto {\sqrt {I_{\varphi }(\varphi )}}}$ i ${\textstyle p_{\theta }(\theta )\propto {\sqrt {I_{\theta }(\theta )}}}$ ens dóna la "invariància" desitjada.^[5]

Cas de paràmetres múltiples

De manera anàloga al cas d'un paràmetre, det ${\textstyle {\vec {\theta }}}$ i ${\textstyle {\vec {\varphi }}}$ ser dues possibles parametritzacions d'un model estadístic, amb ${\textstyle {\vec {\theta }}}$ una funció contínuament diferenciable de ${\textstyle {\vec {\varphi }}}$. Anomenem el prior ${\textstyle p_{\theta }({\vec {\theta }})}$ "invariant" sota reparametrització si $${\displaystyle p_{\varphi }({\vec {\varphi }})=p_{\theta }({\vec {\theta }})~|\det J|\,,}$$ on ${\textstyle J}$ és la matriu jacobiana amb entrades $${\displaystyle J_{ij}={\frac {\partial \theta _{i}}{\partial \varphi _{j}}}.}$$ Atès que la matriu d'informació de Fisher es transforma sota reparametrització com $${\displaystyle I_{\varphi }({\vec {\varphi }})=J^{T}I_{\theta }({\vec {\theta }})J,}$$ això ho tenim $${\displaystyle \det I_{\varphi }(\varphi )=\det I_{\theta }(\theta )(\det J)^{2}}$$ i definint així els priors com ${\textstyle p_{\varphi }({\vec {\varphi }})\propto {\sqrt {\det I_{\varphi }({\vec {\varphi }})}}}$ i ${\textstyle p_{\theta }({\vec {\theta }})\propto {\sqrt {\det I_{\theta }({\vec {\theta }})}}}$ ens dóna la "invariància" desitjada.

Exemples

L'anterior de Jeffreys per a un paràmetre (o un conjunt de paràmetres) depèn del model estadístic.

Distribució gaussiana amb paràmetre mitjà

Per a la distribució gaussiana del valor real ${\textstyle x}$$${\displaystyle f(x\mid \mu )={\frac {e^{-(x-\mu )^{2}/2\sigma ^{2}}}{\sqrt {2\pi \sigma ^{2}}}}}$$ amb ${\textstyle \sigma }$ arreglat, l'anterior de Jeffreys per a la mitjana ${\textstyle \mu }$ és $${\displaystyle {\begin{aligned}p(\mu )&\propto {\sqrt {I(\mu )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\mu }}\log f(x\mid \mu )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {x-\mu }{\sigma ^{2}}}\right)^{2}\right]}}\\&={\sqrt {\int _{-\infty }^{+\infty }f(x\mid \mu )\left({\frac {x-\mu }{\sigma ^{2}}}\right)^{2}dx}}={\sqrt {\sigma ^{2}/\sigma ^{4}}}\propto 1.\end{aligned}}}$$ És a dir, el Jeffreys anterior per ${\textstyle \mu }$ no depèn de ${\textstyle \mu }$; és la distribució uniforme no normalitzada a la recta real: la distribució que és 1 (o una altra constant fixa) per a tots els punts. Aquest és un a priori impropi, i és, fins a l'elecció de la constant, l'única distribució invariant de traducció sobre els reals (la mesura de Haar pel que fa a l'addició de reals), corresponent a que la mitjana és una mesura de localització i invariància de traducció. no correspon a informació sobre la ubicació.

Distribució gaussiana amb paràmetre de desviació estàndard

Per a la distribució gaussiana del valor real ${\textstyle x}$$${\displaystyle f(x\mid \sigma )={\frac {e^{-(x-\mu )^{2}/2\sigma ^{2}}}{\sqrt {2\pi \sigma ^{2}}}},}$$ amb ${\textstyle \mu }$ fixat, l'anterior de Jeffreys per a la desviació estàndard ${\textstyle \sigma >0}$ és $${\displaystyle {\begin{aligned}p(\sigma )&\propto {\sqrt {I(\sigma )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\sigma }}\log f(x\mid \sigma )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {(x-\mu )^{2}-\sigma ^{2}}{\sigma ^{3}}}\right)^{2}\right]}}\\&={\sqrt {\int _{-\infty }^{+\infty }f(x\mid \sigma )\left({\frac {(x-\mu )^{2}-\sigma ^{2}}{\sigma ^{3}}}\right)^{2}dx}}={\sqrt {\frac {2}{\sigma ^{2}}}}\propto {\frac {1}{\sigma }}.\end{aligned}}}$$ De manera equivalent, els Jeffreys anteriors per ${\textstyle \log \sigma =\int d\sigma /\sigma }$ és la distribució uniforme no normalitzada a la línia real i, per tant, aquesta distribució també es coneix com a logarithmic prior. De la mateixa manera, els Jeffreys anteriors per ${\textstyle \log \sigma ^{2}=2\log \sigma }$ també és uniforme. És l'únic (fins a un múltiple) anterior (en els reals positius) que és invariant d'escala (la mesura de Haar pel que fa a la multiplicació de reals positius), corresponent a la desviació estàndard que és una mesura d' escala i invariància d'escala corresponent. sense informació sobre l'escala. Igual que amb la distribució uniforme sobre els reals, és un a priori impropi.

Referències

1. Proceedings of the Royal Society of London, 186, 1007, 1946, pàg. 453–461. Bibcode: 1946RSPSA.186..453J. DOI: 10.1098/rspa.1946.0056. JSTOR: 97883. PMID: 20998741.
2. IEEE Transactions on Systems Science and Cybernetics, 4, 3, 9-1968, pàg. 227–241. DOI: 10.1109/TSSC.1968.300117.
3. Firth, David. «Bias reduction, the Jeffreys prior and GLIM». A: Fahrmeir. Advances in GLIM and Statistical Modelling (en anglès). New York: Springer, 1992, p. 91–100. DOI 10.1007/978-1-4612-2952-0_15. ISBN 0-387-97873-9. 
4. Magis, David Psychometrika, 80, 2015, pàg. 200–204. DOI: 10.1007/s11336-013-9378-5.
5. Statistical Science, 24, 2, 2009. arXiv: 0804.3173. DOI: 10.1214/09-STS284 [Consulta: free].