Оцінка апостеріорного максимуму

Частина з циклу Статистика
Баєсова статистика
Теорія
Апостеріорна ймовірність Апостеріорний прогнозний розподіл^[en] Апріорна ймовірність Баєсів інформаційний критерій Баєсова ефективність^[en] Баєсова ймовірність Баєсова мережа Баєсове висновування Гіперапріорний розподіл^[en] Гіперпараметр Емпіричний баєсів метод^[en] Імовірний інтервал Інтерпретації ймовірності Коефіцієнт Баєса Оцінка апостеріорного максимуму Правдоподібність Правило Баєса Правило Кромвеля^[en] Прийнятне правило рішення^[en] Принцип максимальної ентропії^[en] Принцип недостатнього обґрунтування^[en] Спряжений апріорний розподіл Теорема Баєса Теорема Бернштайна — фон Мізеса^[de]
Методи
Баєсова лінійна регресія Баєсова оцінка Приблизне баєсове обчислення
п о р

Оці́нка ма́ксимуму апостеріо́рної імові́рності (МАІ, англ. maximum a posteriori probability estimate, MAP) у баєсовій статистиці — це мода апостеріорного розподілу. МАІ може застосовуватися для отримання точкової оцінки неспостережуваної величини на базі емпіричних даних. Вона є тісно пов'язаною з методом максимальної правдоподібності (МП, англ. maximum likelihood, ML) Фішера, але застосовує розширену цільову функцію, що включає апріорний розподіл оцінюваної величини. Таким чином, МАІ можна розглядати як регуляризацію оцінки МП.

Опис

Припустімо, що ми хочемо оцінити неспостережуваний параметр розподілу ${\displaystyle \theta }$ на базі спостережень ${\displaystyle x}$. Нехай ${\displaystyle f}$ буде вибірковим розподілом ${\displaystyle x}$, так що ${\displaystyle f(x|\theta )}$ є ймовірністю ${\displaystyle x}$, коли підлеглий параметр розподілу є ${\displaystyle \theta }$. Тоді функція

${\displaystyle \theta \mapsto f(x|\theta )\!}$

є відомою як функція правдоподібності, а оцінка

${\displaystyle {\hat {\theta }}_{\mathrm {ML} }(x)={\underset {\theta }{\operatorname {arg\,max} }}\ f(x|\theta )\!}$

є оцінкою максимальної правдоподібності ${\displaystyle \theta }$.

Тепер припустімо, що існує апріорний розподіл ${\displaystyle \theta }$, ${\displaystyle g}$. Це дозволяє нам розглядати ${\displaystyle \theta }$ як випадкову змінну в баєсовій статистиці. Тоді апостеріорний розподіл ${\displaystyle \theta }$ є наступним:

${\displaystyle \theta \mapsto f(\theta |x)={\frac {f(x|\theta )\,g(\theta )}{\displaystyle \int _{\vartheta \in \Theta }f(x|\vartheta )\,g(\vartheta )\,d\vartheta }}\!}$

де ${\displaystyle g}$ є функцією густини ${\displaystyle \theta }$, а ${\displaystyle \Theta }$ є областю визначення ${\displaystyle g}$. Це є прямим застосуванням теореми Баєса.

Відтак метод оцінки апостеріорного максимуму оцінює ${\displaystyle \theta }$ як моду апостеріорного розподілу цієї випадкової змінної:

${\displaystyle {\hat {\theta }}_{\mathrm {MAP} }(x)={\underset {\theta }{\operatorname {arg\,max} }}\ {\frac {f(x|\theta )\,g(\theta )}{\displaystyle \int _{\vartheta }f(x|\vartheta )\,g(\vartheta )\,d\vartheta }}={\underset {\theta }{\operatorname {arg\,max} }}\ f(x|\theta )\,g(\theta ).\!}$

Знаменник цього апостеріорного розподілу (так звана статистична сума^[en]) не залежить від ${\displaystyle \theta }$, і тому не відіграє ролі в оптимізації. Зверніть увагу, що коли апріорне ${\displaystyle g}$ є рівномірним (тобто сталою функцією), то оцінка ${\displaystyle \theta }$ МАІ збігається з оцінкою МП. І що коли функція втрат має вигляд

${\displaystyle L(\theta ,a)={\begin{cases}0&{\mbox{, if }}|a-\theta |<c\\1&{\mbox{, otherwise}}\\\end{cases}}\!}$

та ${\displaystyle c}$ прямує до 0, то послідовність баєсових оцінок наближається до оцінювача МАІ, за умови, що розподіл ${\displaystyle \theta }$ є одномодовим. Але в цілому оцінювач МАІ не є баєсовим оцінювачем, хіба що якщо ${\displaystyle \theta }$ є дискретною.

Обчислення

Оцінку МАІ може було обчислювано кількома шляхами:

1. Аналітичним, коли моду (моди) апостеріорного розподілу може бути задано в замкненій формі^[en]. Це той випадок, коли застосовуються спряжені апріорні.
2. Шляхом чисельної оптимізації, такої як метод спряжених градієнтів або метод Ньютона. Це зазвичай вимагає перших або других похідних, що має бути виражено чи то аналітично, чи то чисельно.
3. Шляхом видозміни алгоритму очікування-максимізації. Це не вимагає похідних апостеріорної густини.
4. Методом Монте-Карло із застосуванням імітації відпалу.

Критика

Хоча оцінка МАІ і є границею баєсових оцінок (при функції втрат 0-1), вона не є типовим представником баєсових методів у цілому. Причина в тому, що оцінки МАІ є точковими, тоді як баєсові методи характеризуються використанням розподілів для підсумовування даних та видачі висновків: так, баєсові методи тяжіють замість цього до повідомлення апостеріорного середнього або медіани разом із імовірними інтервалами. В обох випадках причиною є те, що ці оцінки є оптимальними при втратах із квадратичною або лінійною помилкою відповідно, — а вони є характернішими представниками типових функцій втрат, — і те, що апостеріорний розподіл може не мати простої аналітичної форми: в такому випадку цей розподіл може бути симульовано за допомогою методик Монте-Карло марковських ланцюгів, тоді як оптимізація для пошуку цієї моди (мод) може бути складною, або неможливою.^{[джерело?]}

Приклад густини бімодального розподілу, в якому найвища мода є не характерною для більшості розподілу

У багатьох типах моделей, як наприклад сумішевих^[en], апостеріорне може бути бімодальним. У такому разі звичною порадою є обирати найвищу моду: це не завжди є прийнятним (глобальна оптимізація є складною задачею), а в деяких випадках навіть і неможливим (як при виникненні проблем ідентифіковності^[en]). До того ж, найвища мода може бути не характерною для більшості апостеріорного.

Нарешті, на відміну від оцінок МП, оцінка МАІ не є інваріантною відносно параметризації^[en]. Перемикання з однієї параметризації на іншу включає введення якобіану, що впливає на положення максимуму.^[1]

Як приклад різниці між згаданими вище баєсовими оцінками (середнього та медіани) та використанням оцінки МАІ, розгляньмо випадок, коли необхідно класифікувати входи ${\displaystyle x}$ як або позитивні, або негативні (наприклад, позички як ризиковані або безпечні). Припустімо, що існує лише три можливі гіпотези правильного методу класифікації, ${\displaystyle h_{1}}$, ${\displaystyle h_{2}}$ and ${\displaystyle h_{3}}$, з апостеріорними 0.4, 0.3 та 0.3 відповідно. Припустімо, що заданий новий зразок ${\displaystyle x}$ гіпотеза ${\displaystyle h_{1}}$ класифікує як позитивний, тоді як дві інші — як негативний. При застосуванні оцінки МАІ для точного класифікатора ${\displaystyle h_{1}}$, ${\displaystyle x}$ класифікується як позитивний, тоді як баєсові оцінки зробили би усереднення над усіма гіпотезами, та класифікували би ${\displaystyle x}$ як негативний.

Приклад

Припустімо, що нам дано послідовність ${\displaystyle (x_{1},\dots ,x_{n})}$ незалежних однаково розподілених випадкових змінних ${\displaystyle N(\mu ,\sigma _{v}^{2})}$ та апріорний розподіл ${\displaystyle \mu }$, заданий ${\displaystyle N(\mu _{0},\sigma _{m}^{2})}$. Ми хочемо отримати оцінку МАІ ${\displaystyle \mu }$.

Функцію, що потрібно максимізувати, задано як

${\displaystyle f(\mu )f(x|\mu )=\pi (\mu )L(\mu )={\frac {1}{{\sqrt {2\pi }}\sigma _{m}}}\exp \left(-{\frac {1}{2}}\left({\frac {\mu -\mu _{0}}{\sigma _{m}}}\right)^{2}\right)\prod _{j=1}^{n}{\frac {1}{{\sqrt {2\pi }}\sigma _{v}}}\exp \left(-{\frac {1}{2}}\left({\frac {x_{j}-\mu }{\sigma _{v}}}\right)^{2}\right),}$

що є еквівалентним мінімізації наступної функції ${\displaystyle \mu }$:

${\displaystyle \sum _{j=1}^{n}\left({\frac {x_{j}-\mu }{\sigma _{v}}}\right)^{2}+\left({\frac {\mu -\mu _{0}}{\sigma _{m}}}\right)^{2}.}$

Отже, ми бачимо, що оцінка МАІ для μ задається як

${\displaystyle {\hat {\mu }}_{MAP}={\frac {n\sigma _{m}^{2}}{n\sigma _{m}^{2}+\sigma _{v}^{2}}}\left({\frac {1}{n}}\sum _{j=1}^{n}x_{j}\right)+{\frac {\sigma _{v}^{2}}{n\sigma _{m}^{2}+\sigma _{v}^{2}}}\mu _{0},}$

що виявляється лінійною інтерполяцією середнього апріорного та середнього вибірки, зважену за їхніми відповідними коваріаціями.

Випадок ${\displaystyle \sigma _{m}\to \infty }$ називається неінформативним апріорним, і веде до недовизначеного апріорного розподілу ймовірності; в цьому випадку ${\displaystyle {\hat {\mu }}_{MAP}\to {\hat {\mu }}_{ML}.}$

Посилання

1. Murphy, Kevin P. (2012). Machine learning : a probabilistic perspective. Cambridge, MA: MIT Press. с. 151–152. ISBN 0262018020. (англ.)

Джерела

• M. DeGroot, Optimal Statistical Decisions, McGraw-Hill, (1970). (англ.)
• Harold W. Sorenson, (1980) "Parameter Estimation: Principles and Problems", Marcel Dekker. (англ.)