מקדם בייס

בסטטיסטיקה, מְקַדֵם בֵּייס (באנגלית: Bayes Factor) משמש אלטרנטיבה בייסיאנית לבדיקת השערות קלאסית.^[1][2] השוואת מודלים בייסיאניים היא שיטה של הכרעה בין מודלים שונים בהתבסס על חישוב מקדם בייס. מקדם בייס משמש לכימות היחס בין העדויות התומכות בעד מודל אחד על פני מודל אחר^[3].

הגדרה

הנראות (likelihood) מייצגת את ההסתברות כי סט נתונים D הגיע מתוך מודל M, ונכתב באופן רשמי בתור ${\displaystyle Pr(D|M)}$. מקדם בייס הוא יחס בין הנראות (likelihood) של השערות מתחרות, בדרך כלל השערת אפס והשערת החוקר, או מספר מודלים אלטרנטיביים^[4].

לדוגמה: בהטלת מטבע נצפה סט נתונים (D) של 5 תוצאות "עץ". במודל סטטיסטי של מטבע הוגן (סיכוי q=0.5 לקבלת עץ) הסבירות, או הסיכוי לנתונים בהינתן המודל, היא ${\displaystyle Pr(D|M)=0.5^{5}=0.03125}$. לעומת זאת במודל של מטבע מוטה (עם סיכוי q=0.9 לקבלת עץ) הסבירות, או הסיכוי לנתונים בהינתן המודל, היא ${\displaystyle Pr(D|M)=0.9^{5}=0.5905}$.

הערכת הנראות מהווה את הבסיס להשוואה בייסיאנית בין מודלים. בהשוואת מודלים, אנחנו צריכים לבחור בין שני מודלים על בסיס נתונים (D). הנראות של שני מודלים M1, ו-M2, מבוטאת על ידי שני וקטורים ${\displaystyle \theta _{1}}$ וגם ${\displaystyle \theta _{2}}$, שבאמצעותם מחושב מקדם בייס, K.

הווקטורים ${\displaystyle \theta _{1}}$ ו-${\displaystyle \theta _{2}}$ מכילים את אוסף כל האפשרויות של פרמטרי המודלים M1, ו-M2 בהתאמה. עבור כל אפשרות כזו מחושבת ההסתברות לקבל את הפרמטרים בהינתן המודל ${\displaystyle Pr(\theta _{i}|M_{i})}$, וגם מחושבת ההסתברות לקבל את הדאטא שנאסף בהינתן שהמודל הוא מבוסס פרמטרים אלו ${\displaystyle Pr(D|\theta _{i},M_{i})}$. הסתברויות אלו מוכפלות זו בזו, ומתבצעת עבור כל מודל סכימה מעבר לכל האפשרויות של פרמטרי המודלים. חלוקת הסכומים שחושבו בין שני המודלים מוגדרת כמקדם בייס. בכתיב מתמטי ניתן לייצג הסבר זה בנוסחה הבאה:

${\displaystyle K={\frac {\Pr(D|M_{1})}{\Pr(D|M_{2})}}={\frac {\int \Pr(\theta _{1}|M_{1})\Pr(D|\theta _{1},M_{1})\,d\theta _{1}}{\int \Pr(\theta _{2}|M_{2})\Pr(D|\theta _{2},M_{2})\,d\theta _{2}}}.}$

יתרונה של שיטת השוואת מודלים באמצעות מקדם בייס על פני מבחן סטטיסטיים כגון מבחן יחס-נראות נעוצה בעובדה שסבירותם של מודלים פשוטים יותר עם פחות פרמטרים, באופן טבעי יותר מקבלת יתרון בהשוואת מודלים ביסייאניים^[5] ובכך ניתן להימנע מתופעת התאמת יתר (overfitting).

פרשנות

ערך K גדול מ-1 מציין כי המודל הראשון יותר נתמך על ידי הנתונים בחשבון בהשוואה למודל השני. בדיקת השערות קלאסית, בוחנת רק מודל אחד (השערת האפס) ומכמתת את הסבירות לנתונים בהינתן המודל, כאשר בתהליך ההסקה הסטטיסטית, סבירות נמוכה מאוד של הנתונים (לרוב p<0.05) תוביל לדחיית השערת האפס. הרולד ג'פרי יצר את הטבלה הבאה לפרשנות ערכי K שונים:^[6]

K	dHart	ביטים	פרשנות
קטן מ-1	קטן מ-0		שלילי (תומך M2)
10^0עד 10^1/2	0 עד 5	0 עד 1.6	בקושי שווה להזכיר
10^1/2 עד 10^1	5 עד 10	1.6 עד 3.3	משמעותי
10^1 עד 10^3/2	10 עד 15	3.3 עד 5.0	חזק
10^3/2 עד 10^2	15 עד-20.	5.0 עד 6.6	חזק מאוד
גדול מ 10^2	גדול מ 20	גדול מ 6.6	החלטי

פרשנות מקובלת אלטרנטיבית הוצעה על ידי Kass ו Raftery (1995):

${\displaystyle 2ln(K)}$	K	פרשנות
0 עד 2	1 עד 3	בקושי שווה להזכיר
2 עד 6	3 עד 20	חיובי
6 עד 10	20 עד 150	חזק
מעל 10	מעל 150	חזק מאוד

מקדם בייס מכמת עבורנו איזו מההשערות היא הסבירה ביותר, בהינתן סט הנתונים שבידנו.

דוגמה

נסתכל על דוגמה עם משתנה תלוי דיכוטומי (בינומי). נניח ובידנו משתנה מקרי שמייצר בכל צעד הצלחה או כישלון. אנו מעוניינים להשוות בין מודל M₁ שבו ההסתברות להצלחה היא q=0.5, אל מודל M₂ בו q אינו ידוע, ונלקח מהתפלגות אחידה בטווח [0,1]. בידנו סט נתונים (D) של 200 ניסיונות, אשר מתוכם 115 הצלחות אל מול 85 כישלונות. את הסבירות לקבלת סט נתונים זה בהינתן כל אחד מהמודלים ניתן לחשב באמצעות ההתפלגות הבינומית:

${\displaystyle {{200 \choose 115}q^{115}(1-q)^{85}}.}$

לפיכך, נקבל עבור המודל הראשון

${\displaystyle P(X=115\mid M_{1})={200 \choose 115}\left({1 \over 2}\right)^{200}=0.005956...,\,}$

ועבור המודל השני

${\displaystyle P(X=115\mid M_{2})=\int _{0}^{1}{200 \choose 115}q^{115}(1-q)^{85}dq={1 \over 201}=0.004975....}$

בחישוב מקדם בייס כיחס בין שתי הסבירויות נגלה כי K=1.197. כלומר, העדויות מעט נוטות לטובת המודל הראשון, אם כי באופן זניח.

בדיקת השערות קלאסית של מודל M₁ (שבהקשר זה הוא השערת האפס) יספק תוצאה שונה בתכלית. במבחן הבינום הסבירות לקבלת 115 הצלחות או יותר מתוך 200 היא p=0.02. מכאן שבבדיקת השערות ברמת ביטחון של 95% (דו-צדדית) היינו מגיעים למסקנה כי עלינו לדחות את השערת האפס, וכי לא סביר שהתוצאה שהתקבלה נדגמה מתוך השערת האפס.

מודל M₂מורכב יותר לבחינה מהמודל הראשון, מאחר שהוא מכיל פרמטר חופשי המאפשר לו התאמה מוצלחת יותר לנתונים. היכולת של כלי הסקה ביסיאנית להתמודד עם מודלים מורכבים כגון זה משמעותית במיוחד ביכולה להפחית טעות מסוג I^[7]

לקריאה נוספת

• Morey, R. D., Romeijn, J. W., & Rouder, J. N. (2016). The philosophy of Bayes factors and the quantification of statistical evidence. Journal of Mathematical Psychology, 72, 6-18.

קישורים חיצוניים

• BayesFactor חבילת R לחישוב מקדם בייס
• Bayes Factor Calulator - גרסה מבוססת דפדפן של חבילת BayesFactor

הערות שוליים

1. Goodman S (1999). "Toward evidence-based medical statistics. 1: The P value fallacy" (PDF). Ann Intern Med. 130 (12): 995–1004. doi:10.7326/0003-4819-130-12-199906150-00008. PMID 10383371.
2. Goodman S (1999). "Toward evidence-based medical statistics. 2: The Bayes factor" (PDF). Ann Intern Med. 130 (12): 1005–13. doi:10.7326/0003-4819-130-12-199906150-00019. PMID 10383350. אורכב מ-המקור (PDF) ב-2009-10-15. נבדק ב-2017-07-01.
3. Ly, Alexander, Josine Verhagen, and Eric-Jan Wagenmakers.
4. Good, Phillip; Hardin, James (23 ביולי 2012). Common errors in statistics (and how to avoid them) (4 ed.). Hoboken, New Jersey: John Wiley & Sons, Inc. pp. 129–131. ISBN 978-1118294390.
5. Robert E. Kass; Adrian E. Raftery (1995). "Bayes Factors" (PDF). Journal of the American Statistical Association. 90. doi:10.2307/2291091.
6. H. Jeffreys (1961). The Theory of Probability (3 ed.). Oxford.
7. Sharpening Ockham's Razor On a Bayesian Strop