Апостеріорна ймовірність

Частина з циклу Статистика
Баєсова статистика
Теорія
Апостеріорна ймовірність Апостеріорний прогнозний розподіл^[en] Апріорна ймовірність Баєсів інформаційний критерій Баєсова ефективність^[en] Баєсова ймовірність Баєсова мережа Баєсове висновування Гіперапріорний розподіл^[en] Гіперпараметр Емпіричний баєсів метод^[en] Імовірний інтервал Інтерпретації ймовірності Коефіцієнт Баєса Оцінка апостеріорного максимуму Правдоподібність Правило Баєса Правило Кромвеля^[en] Прийнятне правило рішення^[en] Принцип максимальної ентропії^[en] Принцип недостатнього обґрунтування^[en] Спряжений апріорний розподіл Теорема Баєса Теорема Бернштайна — фон Мізеса^[de]
Методи
Баєсова лінійна регресія Баєсова оцінка Приблизне баєсове обчислення
п о р

В баєсовій статистиці апостеріо́рна ймові́рність (англ. posterior probability) випадкової події або сумнівного твердження^{[прояснити: ком.]} — це умовна ймовірність, присвоювана^{[прояснити: ком.]} після врахування відповідного свідчення або вихідних даних. Так само апостеріо́рний розпо́діл імові́рності (англ. posterior probability distribution) — це розподіл невідомої величини, яку розглядають як випадкову змінну, обумовлену свідченням, отриманим з експерименту або спостереження. «Апостеріорний» в даному контекст означає — після врахування відповідного свідчення, пов'язаного з певним досліджуваним випадком. Наприклад, існує («неапостеріорна») ймовірність того, що людина знайде скарб, копаючи у випадковому місці, та апостеріорна ймовірність знаходження закопаного скарбу, якщо людина копатиме в місці, де дзвенить її металодетектор.

Визначення

Апостеріорна ймовірність є ймовірністю параметрів ${\displaystyle \theta }$ за заданого свідчення ${\displaystyle X}$: ${\displaystyle p(\theta |X)}$.

Вона протиставиться до функції правдоподібності, яка є ймовірністю цього свідчення за заданих параметрів: ${\displaystyle p(X|\theta )}$.

Вони пов'язані наступним чином:

Нехай у нас є апріорне переконання, що функція розподілу ймовірності це ${\displaystyle p(\theta )}$, і спостереження ${\displaystyle X}$ з правдоподібністю ${\displaystyle p(X|\theta )}$, тоді апостеріорна ймовірність визначається як

${\displaystyle p(\theta |X)={\frac {p(\theta )p(X|\theta )}{p(X)}}.}$^[1]

Апостеріорну ймовірність може бути записано в такому зручному для запам'ятовування вигляді:

${\displaystyle {\text{Posterior probability}}\propto {\text{Prior probability}}\times {\text{Likelihood}}}$.

Приклад

Нехай у школі 60% учнів — хлопці, і 40% — дівчата. Дівчата носять штани та спідниці в рівній кількості, хлопці всі носять штани. Спостерігач здалеку бачить учня (випадкового); все, що може бачити спостерігач, — це те, що учень в штанях. Яка ймовірність того, що цей учень — дівчина? Правильну відповідь може бути обчислено за допомогою теореми Баєса.

Подією ${\displaystyle G}$ є те, що учень, якого бачить спостерігач, є дівчиною, а подією ${\displaystyle T}$ є те, що цей учень носить штани. Для обчислення апостеріорної ймовірності ${\displaystyle P(G|T)}$, нам спочатку необхідно дізнатися:

• ${\displaystyle P(G)}$, або ймовірність того, що цей учень є дівчиною незалежно від будь-якої іншої інформації. Оскільки спостерігач бачить випадкового учня, тобто всі учні мають однакову ймовірність бути побаченими, а частка дівчат серед них становить 40%, то ця ймовірність дорівнює 0.4.
• ${\displaystyle P(B)}$, або ймовірність того, що цей учень не є дівчиною (тобто, хлопець), незалежно від будь-якої іншої інформації (${\displaystyle B}$ є доповнювальною подією до ${\displaystyle G}$). Це є 60%, або 0.6.
• ${\displaystyle P(T|G)}$, або ймовірність того, що учень носить штани, якщо він є дівчиною. Оскільки вони однаково часто носять штани та спідниці, то це 0.5.
• ${\displaystyle P(T|B)}$, або ймовірність то, що учень носить штани, якщо він є хлопцем. Це задано як 1.
• ${\displaystyle P(T)}$, або ймовірність того, що (випадково вибраний) учень носить штани незалежно від будь-якої іншої інформації. Оскільки ${\displaystyle P(T)=P(T|G)P(G)+P(T|B)P(B)}$ (згідно закону повної ймовірності), це становить ${\displaystyle P(T)=0.5\times 0.4+1\times 0.6=0.8}$.

Враховуючи всю цю інформацію, апостеріорна ймовірність того, що спостерігач бачить дівчину, за умови що учень, якого бачить спостерігач, носить штани, може бути обчислено підставленням цих значень до формули

${\displaystyle P(G|T)={\frac {P(T|G)P(G)}{P(T)}}={\frac {0.5\times 0.4}{0.8}}=0.25.}$

Інтуїтивне пояснення цього результату полягає в тім, що з кожної сотні учнів (60 хлопців та 40 дівчат), оскільки ми спостерігаємо штани, цей учень є одним з 80, що їх носять (60 хлопців та 20 дівчат); оскільки 20/80 = 1/4 з них є дівчатами, то ймовірністю того, що учень в штанях є дівчиною, становить 1/4.

Обчислення

Апостеріорний розподіл імовірності однієї випадкової змінної при заданому значенні іншої може бути обчислено за теоремою Баєса шляхом множення апріорного розподілу ймовірності на функцію правдоподібності, а потім діленням на нормувальну сталу^[en], а саме:

${\displaystyle f_{X\mid Y=y}(x)={f_{X}(x)L_{X\mid Y=y}(x) \over {\int _{-\infty }^{\infty }f_{X}(u)L_{X\mid Y=y}(u)\,du}}}$

дає апостеріорну функцію густини ймовірності випадкової змінної ${\displaystyle X}$ з урахуванням даних ${\displaystyle Y=y}$, де

• ${\displaystyle f_{X}(x)}$ є апріорною густиною ${\displaystyle X}$;
• ${\displaystyle L_{X\mid Y=y}(x)=f_{Y\mid X=x}(y)}$ є функцією правдоподібності як функції від ${\displaystyle x}$;
• ${\displaystyle \int _{-\infty }^{\infty }f_{X}(u)L_{X\mid Y=y}(u)\,du}$ є нормувальною сталою, та
• ${\displaystyle f_{X\mid Y=y}(x)}$ є апостеріорною густиною ${\displaystyle X}$ з урахуванням даних ${\displaystyle Y=y}$.

Імовірний інтервал

Апостеріорна ймовірність є умовною ймовірністю, обумовленою випадково спостережуваними даними. Відтак вона є випадковою змінною. Для випадкової змінної важливо підбивати величину її невизначеності. Одним зі способів досягнення цієї мети є надання ймовірного інтервалу апостеріорної ймовірності.

Класифікація

У класифікації апостеріорна ймовірність відображає невизначеність віднесення спостереження до певного класу, див. також ймовірності приналежності до класів. Хоча методи статистичної класифікації за визначенням і породжують апостеріорні ймовірності, фахівці з машинного навчання зазвичай подають значення приналежності, що не передбачають жодної ймовірнісної довірчості. Бажано перетворювати або перемасштабовувати значення приналежності у ймовірності приналежності до класів, оскільки вони є порівнюваними й на додачу легше застосовними для подальшої обробки.

Див. також

• Передбачуваний інтервал^[en]
• Теорема Бернштайна — фон Мізеса^[de]
• Зачада Монті Голла
• Задача трьох в'язнів^[en]
• Парадокс скриньок Бертрана^[en]
• Піково-пластинне обирання змінних^[en]
• Баєсів структурний часовий ряд
• Імовірність позитивного результату^[en]

Примітки

1. Christopher M. Bishop (2006). Pattern Recognition and Machine Learning. Springer. с. 21–24. ISBN 978-0-387-31073-2. (англ.)

Література

• Peter M. Lee (2004). Bayesian Statistics, an introduction (вид. 3rd). Wiley. ISBN 978-0-340-81405-5. Архів оригіналу за 25 вересня 2015. Процитовано 24 вересня 2015. (англ.)