Multivarijantna normalna raspodela

Multivarijantna normalna raspodela

Funkcija gustine verovatnoće Mnogštvo uzoraka sa multivarijantnom normalnom distribucijom sa ${\displaystyle {\boldsymbol {\mu }}=\left[{\begin{smallmatrix}0\\0\end{smallmatrix}}\right]}$ i ${\displaystyle {\boldsymbol {\Sigma }}=\left[{\begin{smallmatrix}1&3/5\\3/5&2\end{smallmatrix}}\right]}$, prikazani zajedno sa 3-sigma elipse, dve marginalne distribucije, i dva 1-d histograma.
Notacija	${\displaystyle {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }})}$
Parametri	μ ∈ R^k — lokacija Σ ∈ R^k × k — kovarijansa (pozitivna poludefinitivna matrica)
Nositelj	x ∈ μ + span(Σ) ⊆ R^k
PDF	${\displaystyle (2\pi )^{-{\frac {k}{2}}}\det({\boldsymbol {\Sigma }})^{-{\frac {1}{2}}}\,e^{-{\frac {1}{2}}(\mathbf {x} -{\boldsymbol {\mu }})^{\!{\mathsf {T}}}{\boldsymbol {\Sigma }}^{-1}(\mathbf {x} -{\boldsymbol {\mu }})},}$ postoji samo kad je Σ positivna-definitivna
Prosek	μ
Modus	μ
Varijansa	Σ
Entropija	${\displaystyle {\frac {1}{2}}\ln \det \left(2\pi \mathrm {e} {\boldsymbol {\Sigma }}\right)}$
MGF	${\displaystyle \exp \!{\Big (}{\boldsymbol {\mu }}^{\!{\mathsf {T}}}\mathbf {t} +{\tfrac {1}{2}}\mathbf {t} ^{\!{\mathsf {T}}}{\boldsymbol {\Sigma }}\mathbf {t} {\Big )}}$
CF	${\displaystyle \exp \!{\Big (}i{\boldsymbol {\mu }}^{\!{\mathsf {T}}}\mathbf {t} -{\tfrac {1}{2}}\mathbf {t} ^{\!{\mathsf {T}}}{\boldsymbol {\Sigma }}\mathbf {t} {\Big )}}$
Kulbek-Lajblerova divergencija	pogledajte ispod

U teoriji verovatnoće i statistici, multivarijantna normalna raspodela, multivarijantna Gausova raspodela, ili zajednička normalna raspodela je generalizacija jednodimenzionalne (univarijantne) normalne distribucije na više dimenzija. Jedna definicija je da se randomni vektor smatra k-varijantno normalno distribuiranim ako svaka linearna kombinacija njegovih k komponenata ima univarijantnu normalnu distribuciju. Njen značaj proističe uglavnom iz multivarijantne centralne granične teoreme. Multivarijantna normalna distribucija često se koristi za opisivanje, barem približno, bilo kojeg skupa (mogućih) korelisanih realno-vrednosnih radomnih promenljivih, od kojih se svaka grupiše oko srednje vrednosti.

Notacija i parametrizacija

Multivarijantna normalna distribucija k-dimenzionalnog randomnog vektora ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})}$ može se zapisati na sledeći način:

${\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),}$

ili da se naglasi da je X k-dimenziono,

${\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}_{k}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),}$

sa k-dimenzionim srednjim vektorom

${\displaystyle {\boldsymbol {\mu }}=\operatorname {E} [\mathbf {X} ]=(\operatorname {E} [X_{1}],\operatorname {E} [X_{2}],\ldots ,\operatorname {E} [X_{k}]),}$

i ${\displaystyle k\times k}$ kovarijantnom matricom

${\displaystyle \Sigma _{i,j}:=\operatorname {E} [(X_{i}-\mu _{i})(X_{j}-\mu _{j})]=\operatorname {Cov} [X_{i},X_{j}]}$

takvom da ${\displaystyle 1\leq i,j\leq k.}$ Inverzna matrica kovarijantne matrice se zove matrica preciznosti i označava se sa ${\displaystyle {\boldsymbol {Q}}={\boldsymbol {\Sigma }}^{-1}}$.

Definicije

Standardni normalni randomni vektor

Realni randomni vektor ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$ se zove standardni normalni randomni vektor ako su sve njegove komponente ${\displaystyle X_{n}}$ nezavisne i svaka je normalno distribuirana randomna promenljiva sa nultom srednjom vrednosti i jediničnom varijansom, i.e. ako ${\displaystyle X_{n}\sim \ {\mathcal {N}}(0,1)}$ za svako ${\displaystyle n}$.^{[1]‍:p. 454}

Centrirani normalni randomni vektor

Realni randomni vektor ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$ se zove centrirani normalni randomni vektor ako postoji deterministička ${\displaystyle k\times \ell }$ matrica ${\displaystyle {\boldsymbol {A}}}$ takva da ${\displaystyle {\boldsymbol {A}}\mathbf {Z} }$ ima istu distribuciju kao ${\displaystyle \mathbf {X} }$ gde je ${\displaystyle \mathbf {Z} }$ standardni normalni randomni vektor sa ${\displaystyle \ell }$ komponenata.^{[1]‍:p. 454}

Normalni randomni vektor

Realni randomni vektor ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$ se zove normalni randomni vektor ako postoji randomni ${\displaystyle \ell }$-vektor ${\displaystyle \mathbf {Z} }$, koji je standardni normalni randomni vektor, ${\displaystyle k}$-vektor ${\displaystyle \mathbf {\mu } }$, i ${\displaystyle k\times \ell }$ matrica ${\displaystyle {\boldsymbol {A}}}$, takva da je ${\displaystyle \mathbf {X} ={\boldsymbol {A}}\mathbf {Z} +\mathbf {\mu } }$.^{[2]‍:p. 454[1]‍:p. 455}

Formalno:

${\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}(\mathbf {\mu } ,{\boldsymbol {\Sigma }})\quad \iff \quad {\text{postoji }}\mathbf {\mu } \in \mathbb {R} ^{k},{\boldsymbol {A}}\in \mathbb {R} ^{k\times \ell }{\text{ takvo da je }}\mathbf {X} ={\boldsymbol {A}}\mathbf {Z} +\mathbf {\mu } {\text{ za }}Z_{n}\sim \ {\mathcal {N}}(0,1),{\text{i.i.d.}}}$

Kovarijantna matrica je ${\displaystyle {\boldsymbol {\Sigma }}={\boldsymbol {A}}{\boldsymbol {A}}^{\mathrm {T} }}$.

U degenerativnom slučaju gde je kovarijantna matrica singularna, korespondirajuća distribucija nema gustinu. Ovaj slučaj se često pojavljuje u statistici; na primer, u raspodeli vektora reziduala u regresiji običnih najmanjih kvadrata. Takođe treba imati na umu da ${\displaystyle X_{i}}$ uglavnom nisu nezavisni; oni se mogu videti kao rezultat primene matrice ${\displaystyle {\boldsymbol {A}}}$ na kolekciju nezavisnih Gausovih promenljivih ${\displaystyle \mathbf {Z} }$.

Ekvivalentne definicije

Sledeće definicije su ekvivalentne sa gornjom definicijom. Randomni vektor ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{T}}$ ima multivarijatnu normalnu distribuciju ako zadovoljava jedan od sledećih uslova.

• Svaka linearna kombinacija ${\displaystyle Y=a_{1}X_{1}+\cdots +a_{k}X_{k}}$ njegovih komponenti je normalno distribuirana. Drugim rečima, za svaki konstantni vektor ${\displaystyle \mathbf {a} \in \mathbb {R} ^{k}}$, randomna promenljiva ${\displaystyle Y=\mathbf {a} ^{\mathrm {T} }\mathbf {X} }$ ima univarijatnu normalnu distribuciju, gde je univarijatna normalna distribucija sa nultom varijansom tačka mase na svojoj srednjoj vrednosti.
• Postoji k-vektor ${\displaystyle \mathbf {\mu } }$ i simetrična, pozitivna poludefinitivna ${\displaystyle k\times k}$ matrica ${\displaystyle {\boldsymbol {\Sigma }}}$, takva da karakteristična funkcija od ${\displaystyle \mathbf {X} }$ je

${\displaystyle \varphi _{\mathbf {X} }(\mathbf {u} )=\exp {\Big (}i\mathbf {u} ^{T}{\boldsymbol {\mu }}-{\tfrac {1}{2}}\mathbf {u} ^{T}{\boldsymbol {\Sigma }}\mathbf {u} {\Big )}.}$

Sferina normalna distribucija može da bude karakterisana kao jedinstvena distribucija, pri čemu su komponente nezavisne u svakom ortogonalnom koordinatnom sistemu.^[3][4]

Reference

1. Lapidoth, Amos (2009). A Foundation in Digital Communication. Cambridge University Press. ISBN 978-0-521-19395-5. 
2. Gut, Allan (2009). An Intermediate Course in Probability. Springer. ISBN 978-1-441-90161-3. 
3. Kac, M. (1939). „On a characterization of the normal distribution”. American Journal of Mathematics. 61 (3): 726—728. JSTOR 2371328. doi:10.2307/2371328. 
4. Sinz, Fabian; Gerwinn, Sebastian; Bethge, Matthias (2009). „Characterization of the p-generalized normal distribution”. Journal of Multivariate Analysis. 100 (5): 817—820. doi:10.1016/j.jmva.2008.07.006. 

Literatura

• Rencher, A.C. (1995). Methods of Multivariate Analysis. New York: Wiley. 
• Tong, Y. L. (1990). The multivariate normal distribution. Springer Series in Statistics. New York: Springer-Verlag. ISBN 978-1-4613-9657-4. doi:10.1007/978-1-4613-9655-0. 
• Dawid, A.P. (1981). „Some matrix-variate distribution theory: Notational considerations and a Bayesian application”. Biometrika. 68 (1): 265–274. JSTOR 2335827. MR 614963. doi:10.1093/biomet/68.1.265. 
• Dutilleul, P (1999). „The MLE algorithm for the matrix normal distribution”. Journal of Statistical Computation and Simulation. 64 (2): 105–123. doi:10.1080/00949659908811970. 
• Arnold, S.F. (1981), The theory of linear models and multivariate analysis, New York: John Wiley & Sons, ISBN 0471050652 
• Goodman, N.R. (1963). „Statistical analysis based on a certain multivariate complex Gaussian distribution (an introduction)”. The Annals of Mathematical Statistics. 34 (1): 152—177. JSTOR 2991290. doi:10.1214/aoms/1177704250 . 
• Picinbono, Bernard (1996). „Second-order complex random vectors and normal distributions”. IEEE Transactions on Signal Processing. 44 (10): 2637—2640. doi:10.1109/78.539051. 
• Wollschlaeger, Daniel. "ShotGroups." Hoyt. RDocumentation, n.d. Web. https://www.rdocumentation.org/packages/shotGroups/versions/0.7.1/topics/Hoyt.
• Gallager, Robert G (2008). "Circularly-Symmetric Gaussian Random Vectors." (n.d.): n. pag. Pre-print. Web. 9 http://www.rle.mit.edu/rgallager/documents/CircSymGauss.pdf^{[мртва веза]}.
• Mahalanobis, Prasanta Chandra (1936). „On the generalised distance in statistics” (PDF). Proceedings of the National Institute of Sciences of India. 2 (1): 49—55. Приступљено 2016-09-27. 
• De Maesschalck, R.; Jouan-Rimbaud, D.; Massart, D. L. (2000). „The Mahalanobis distance”. Chemometrics and Intelligent Laboratory Systems. 50 (1): 1—18. doi:10.1016/s0169-7439(99)00047-7. 
• Kim, M. G. (2000). „Multivariate outliers and decompositions of Mahalanobis distance”. Communications in Statistics – Theory and Methods. 29 (7): 1511—1526. S2CID 218567835. doi:10.1080/03610920008832559. 
• Kessy, Agnan; Lewin, Alex; Strimmer, Korbinian (2018-10-02). „Optimal Whitening and Decorrelation”. The American Statistician. 72 (4): 309—314. ISSN 0003-1305. S2CID 55075085. doi:10.1080/00031305.2016.1277159. 
• Hubert, Mia; Debruyne, Michiel (2010). „Minimum covariance determinant”. WIREs Computational Statistics (на језику: енглески). 2 (1): 36—43. ISSN 1939-5108. S2CID 123086172. doi:10.1002/wics.61. 
• Van Aelst, Stefan; Rousseeuw, Peter (2009). „Minimum volume ellipsoid”. Wiley Interdisciplinary Reviews: Computational Statistics (на језику: енглески). 1 (1): 71—82. ISSN 1939-5108. S2CID 122106661. doi:10.1002/wics.19. 
• Etherington, Thomas R. (2021-05-11). „Mahalanobis distances for ecological niche modelling and outlier detection: implications of sample size, error, and bias for selecting and parameterising a multivariate location and scatter method”. PeerJ (на језику: енглески). 9: e11436. ISSN 2167-8359. doi:10.7717/peerj.11436. 
• McLachlan, Geoffrey (4. 8. 2004). Discriminant Analysis and Statistical Pattern Recognition. John Wiley & Sons. стр. 13—. ISBN 978-0-471-69115-0. CS1 одржавање: Формат датума (веза)
• Etherington, Thomas R. (2019-04-02). „Mahalanobis distances and ecological niche modelling: correcting a chi-squared probability error”. PeerJ (на језику: енглески). 7: e6678. ISSN 2167-8359. PMC 6450376 . PMID 30972255. doi:10.7717/peerj.6678. 
• Farber, Oren; Kadmon, Ronen (2003). „Assessment of alternative approaches for bioclimatic modeling with special emphasis on the Mahalanobis distance”. Ecological Modelling (на језику: енглески). 160 (1–2): 115—130. doi:10.1016/S0304-3800(02)00327-7 . 
• Kritzman, M.; Li, Y. (2019-04-02). „Skulls, Financial Turbulence, and Risk Management”. Financial Analysts Journal (на језику: енглески). 66 (5): 30—41. S2CID 53478656. doi:10.2469/faj.v66.n5.3. 
• „Portfolio Optimizer”. portfoliooptimizer.io/. Приступљено 2022-04-23. 
• Kotz, Samuel; Nadarajah, Saralees (2004). Multivariate t Distributions and Their Applications. Cambridge University Press. ISBN 978-0521826549. 
• Cherubini, Umberto; Luciano, Elisa; Vecchiato, Walter (2004). Copula methods in finance. John Wiley & Sons. ISBN 978-0470863442. 
• Roth, Michael (17. 4. 2013). „On the Multivariate t Distribution” (PDF). Automatic Control group. Linköpin University, Sweden. Архивирано (PDF) из оригинала 31. 7. 2022. г. Приступљено 1. 6. 2022. CS1 одржавање: Формат датума (веза)
• Botev, Z. I.; L'Ecuyer, P. (6. 12. 2015). „Efficient probability estimation and simulation of the truncated multivariate student-t distribution”. 2015 Winter Simulation Conference (WSC). Huntington Beach, CA, USA: IEEE. стр. 380—391. doi:10.1109/WSC.2015.7408180. CS1 одржавање: Формат датума (веза)
• Genz, Alan (2009). Computation of Multivariate Normal and t Probabilities. Lecture Notes in Statistics. 195. Springer. ISBN 978-3-642-01689-9. doi:10.1007/978-3-642-01689-9. Архивирано из оригинала 2022-08-27. г. Приступљено 2017-09-05. 
• Muirhead, Robb (1982). Aspects of Multivariate Statistical Theory. USA: Wiley. стр. 32—36 Theorem 1.5.4. ISBN 978-0-47 1-76985-9. 
• Cornish, E A (1954). „The Multivariate t-Distribution Associated with a Set of Normal Sample Deviates.”. Australian Journal of Physics. 7: 531—542. doi:10.1071/PH550193 . 

Spoljašnje veze