התפלגות דיריכלה

התפלגות דיריכלה

פונקציית צפיפות ההסתברות
מאפיינים
פרמטרים	${\displaystyle K\geq 2}$ מספר הקטגוריות (מספר שלם) ${\displaystyle {\boldsymbol {\alpha }}=(\alpha _{1},\ldots ,\alpha _{K})}$ הם פרמטרים של ריכוז, כאשר ${\displaystyle \alpha _{i}>0}$
תומך	${\displaystyle x_{1},\ldots ,x_{K}}$ כאשר ${\displaystyle x_{i}\in [0,1]}$ ו- ${\displaystyle \sum _{i=1}^{K}x_{i}=1}$
פונקציית צפיפות הסתברות (pdf)	${\displaystyle {\frac {1}{\mathrm {B} ({\boldsymbol {\alpha }})}}\prod _{i=1}^{K}x_{i}^{\alpha _{i}-1}}$ כאשר ${\displaystyle \mathrm {B} ({\boldsymbol {\alpha }})={\frac {\prod _{i=1}^{K}\Gamma (\alpha _{i})}{\Gamma {\bigl (}\alpha _{0}{\bigr )}}}}$ ו- ${\displaystyle \alpha _{0}=\sum _{i=1}^{K}\alpha _{i}}$
תוחלת	${\displaystyle \operatorname {E} [X_{i}]={\frac {\alpha _{i}}{\alpha _{0}}}}$ ${\displaystyle \operatorname {E} [\ln X_{i}]=\psi (\alpha _{i})-\psi (\alpha _{0})}$ (כאשר ${\displaystyle \psi }$ היא פונקציית דיגמא)
ערך שכיח	${\displaystyle x_{i}={\frac {\alpha _{i}-1}{\alpha _{0}-K}},\quad \alpha _{i}>1.}$
שונות	${\displaystyle \operatorname {Var} [X_{i}]={\frac {{\tilde {\alpha }}_{i}(1-{\tilde {\alpha }}_{i})}{\alpha _{0}+1}},}$ ${\displaystyle \operatorname {Cov} [X_{i},X_{j}]={\frac {\delta _{ij}\,{\tilde {\alpha }}_{i}-{\tilde {\alpha }}_{i}{\tilde {\alpha }}_{j}}{\alpha _{0}+1}}}$ כאשר ${\displaystyle {\tilde {\alpha }}_{i}={\frac {\alpha _{i}}{\alpha _{0}}}}$, ו- ${\displaystyle \delta _{ij}}$ היא הדלתא של קרונקר
אנטרופיה	${\displaystyle H(X)=\log \mathrm {B} ({\boldsymbol {\alpha }})}$${\displaystyle +(\alpha _{0}-K)\psi (\alpha _{0})-}$${\displaystyle \sum _{j=1}^{K}(\alpha _{j}-1)\psi (\alpha _{j})}$ כאשר ${\displaystyle \alpha _{0}}$ מוגדר כמו בשונות, למעלה; ו- ${\displaystyle \psi }$ היא פונקציית דיגמא
פונקציה יוצרת מומנטים (mgf)	${\displaystyle \alpha _{i}=E[X_{i}]\left({\frac {E[X_{j}](1-E[X_{j}])}{V[X_{j}]}}-1\right)}$ כאשר ${\displaystyle j}$ יכול להיות כל אינדקס כולל, ${\displaystyle i}$ עצמו

בתורת ההסתברות ובסטטיסטיקה, התפלגות דיריכלה (על שם Peter Gustav Lejeune Dirichlet ), מסומנת לעיתים קרובות ${\displaystyle \operatorname {Dir} ({\boldsymbol {\alpha }})}$, היא משפחה של התפלגויות רב-משתניות רציפות המוגדרות על ידי וקטור ${\displaystyle {\boldsymbol {\alpha }}}$ של ממשיים חיוביים. זוהי הכללה רב-משתנית של התפלגות ביתא,^[1] ומכאן שמה החלופי - התפלגות בטא רב-משתנית (MBD). ^[2] התפלגות דיריכלה משמשת בדרך כלל כהתפלגות פריורית בסטטיסטיקה בייסיאנית, ולמעשה, התפלגות דיריכלה היא ההתפלגות הצמודה של ההתפלגות הקטגוריאלית וההתפלגות המולטינומית.

ההכללה האינסוף-ממדית של התפלגות דיריכלה היא תהליך דיריכלה.

הגדרות

פונקציית צפיפות הסתברות

הדגמה כיצד הלוג של פונקציית הצפיפות משתנה כאשר K = 3 ואנו משנים את הווקטור α מ- α = (0.3, 0.3, 0.3) עד (2.0, 2.0, 2.0), תוך שמירה על כך שכל הרכיבים של ${\displaystyle \alpha }$ נשארים שווים זה לזה.

בערך זה נעשה שימוש בסימנים מוסכמים מתחום המתמטיקה. להבהרת הסימנים ראו סימון מתמטי.

להתפלגות דיריכלה מסדר ${\displaystyle K\geq 2}$ עם פרמטרים ${\displaystyle 0<\alpha _{1},...\alpha _{K}}$, יש פונקציית צפיפות, לפי למידת לבג במרחב האוקלידי ${\displaystyle \mathbb {R} ^{K-1}}$, המתוארת באמצעות:

${\displaystyle f\left(x_{1},\ldots ,x_{K};\alpha _{1},\ldots ,\alpha _{K}\right)={\frac {1}{\mathrm {B} ({\boldsymbol {\alpha }})}}\prod _{i=1}^{K}x_{i}^{\alpha _{i}-1}}$

כאשר ${\displaystyle \{x_{k}\}_{k=1}^{k=K}}$ שייכים לסימפלקס ${\displaystyle K-1}$ תקני, או באופן שקול, לכל ${\textstyle i\in \{1,\dots ,K\}}$, ${\textstyle \sum _{i=1}^{K}x_{i}=1{\mbox{, }}x_{i}\in \left[0,1\right]}$.

הקבוע המנרמל הוא פונקציית בטא רב-משתנית, שניתן לבטאו במונחים של פונקציית גמא:

${\displaystyle \mathrm {B} ({\boldsymbol {\alpha }})={\frac {\prod \limits _{i=1}^{K}\Gamma (\alpha _{i})}{\Gamma \left(\sum \limits _{i=1}^{K}\alpha _{i}\right)}},\qquad {\boldsymbol {\alpha }}=(\alpha _{1},\ldots ,\alpha _{K})}$

תומך

התומך של התפלגות דיריכלה היא קבוצת וקטורים ${\displaystyle K}$ ממדיים ${\displaystyle {\boldsymbol {x}}}$ שהערכים שלהם הם מספרים ממשיים בקטע [0,1] כך ש ${\displaystyle \|{\boldsymbol {x}}\|_{1}=\Sigma _{i}x_{i}=1}$, כלומר סכום הקואורדינטות שווה ל-1. למשל עבור ${\displaystyle K=3}$ התומך הוא משולש שווה-צלעות המשוכן במרחב התלת-ממדי, שקודקודיו בנקודות (1,0,0), (0,1,0) ו (0,0,1), כלומר נמצאים על צירי הקואורדינטות במרחק 1 מהראשית.

תכונות

מומנטים מסדר שני

יהי ${\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} ({\boldsymbol {\alpha }})}$. ויהי

${\displaystyle \alpha _{0}=\sum _{i=1}^{K}\alpha _{i}}$ .

אזי על פי^[3]

${\displaystyle \operatorname {E} [X_{i}]={\frac {\alpha _{i}}{\alpha _{0}}},}$

${\displaystyle \operatorname {Var} [X_{i}]={\frac {\alpha _{i}(\alpha _{0}-\alpha _{i})}{\alpha _{0}^{2}(\alpha _{0}+1)}}.}$

פרט לכך, אם ${\displaystyle i\neq j}$ אז

${\displaystyle \operatorname {Cov} [X_{i},X_{j}]={\frac {-\alpha _{i}\alpha _{j}}{\alpha _{0}^{2}(\alpha _{0}+1)}}}$ .

מטריצת הקוויראנס היא אם כך סימטרית והפיכה.

שכיח

השכיח של ההתפלגות הוא^[4] הווקטור ${\displaystyle (x_{1},\ldots ,x_{k})}$ כאשר

${\displaystyle x_{i}={\frac {\alpha _{i}-1}{\alpha _{0}-K}},\qquad \alpha _{i}>1}$ .

התפלגות שולית

ההתפלגות השוליות הן התפלגויות בטא^[5]

${\displaystyle X_{i}\sim \operatorname {Beta} (\alpha _{i},\alpha _{0}-\alpha _{i})}$ .

אנטרופיה

קישורים חיצוניים

מדיה וקבצים בנושא התפלגות דיריכלה בוויקישיתוף

הערות שוליים

1. S. Kotz; N. Balakrishnan; N. L. Johnson (2000). Continuous Multivariate Distributions. Volume 1: Models and Applications. New York: Wiley. ISBN 978-0-471-18387-7. (Chapter 49: Dirichlet and Inverted Dirichlet Distributions)
2. Olkin, Ingram; Rubin, Herman (1964). "Multivariate Beta Distributions and Independence Properties of the Wishart Distribution". The Annals of Mathematical Statistics. 35 (1): 261–269. doi:10.1214/aoms/1177703748. JSTOR 2238036.
3. BalakrishV. B. (2005). ""Chapter 27. Dirichlet Distribution"". A Primer on Statistical Distributions. Hoboken, NJ: John Wiley & Sons, Inc. p. 274. ISBN 978-0-471-42798-8.
4. Christopher M. Bishop (17 באוגוסט 2006). Pattern Recognition and Machine Learning. Springer. ISBN 978-0-387-31073-2.
5. Farrow, Malcolm. "MAS3301 Bayesian Statistics" (PDF). Newcastle University. נבדק ב-10 באפריל 2013.