Доречно-векторна машина

Частина з циклу
Машинне навчання та добування даних
Парадигми Кероване навчання Некероване навчання Інтерактивне навчання Пакетне навчання Метанавчання Напівкероване навчання Самокероване навчання Навчання з підкріпленням Навчання на основі правил Квантове машинне навчання^[en]
Задачі Класифікація Породжувальна модель Регресія Кластерування Знижування розмірності Оцінювання густини Виявляння аномалій Очищування даних^[en] АвтоМН Асоціативні правила Семантичний аналіз^[en] Структурове передбачування Конструювання ознак Навчання ознак Навчання ранжуванню Виведення граматик^[en] Навчання онтологій^[en] Мультимодальне навчання^[en]
Кероване навчання (класифікація • регресія) Ансамблі Випадковий ліс Бутстрепова агрегація Підсилювання Градієнтне підсилювання^[en] AdaBoost^[en] Дерева рішень MARS^[en] CART Доречно-векторна машина k-сусідів Лінійна регресія Логістична регресія Лінійний розділювальний аналіз Наївний баєсів класифікатор Перцептрон Підмайстрове навчання Опорно-векторна машина Штучні нейронні мережі
Кластерування BIRCH^[en] CURE Ієрархічне k-середніх Нечітке Очікування-максимізація DBSCAN OPTICS Спектральне Зсув середнього^[en]
Знижування розмірності Факторний аналіз Метод незалежних компонент^[en] Канонічна кореляція Дискримінантний аналіз Метод головних компонент Власний узагальнений розклад^[en] Розклад невід'ємних матриць t-розподілене вкладення стохастичної близькості Навчання розріджених словників^[en]
Структурове передбачування Графові моделі Баєсова мережа Прихована марковська модель Умовне випадкове поле
Виявляння аномалій RANSAC k-НС Коефіцієнт локального відхилення Відстань Кука Ізоляційний ліс^[en]
Штучна нейронна мережа Автокодувальник Когнітивні обчислення^[en] Глибоке навчання DeepDream^[en] Нейронна мережа прямого поширення Рекурентна нейронна мережа ДКЧП ВРВ МВС Резервуарне обчислення Обмежена машина Больцмана ГЗМ Дифузійна модель Самоорганізаційна карта Згорткова нейронна мережа U-Net Трансформер Зоровий Спайкова нейронна мережа^[en] Мемтранзистор Електрохімічна ПДД^[en] (ECRAM)
Навчання з підкріпленням Q-навчання SARSA Метод часових різниць Багатоагентне навчання з підкріпленням Гра проти себе^[en]
Навчання з людьми Активне навчання (машинне навчання)^[en] Краудсорсинг Людина-в-циклі
Діагностування моделей Крива спроможності навчатися^[en]
Математичні засади Ядрові машини Компроміс зсуву та дисперсії Ймовірнісно приблизно коректне навчання Мінімізація емпіричного ризику Оккамове навчання^[en] Регуляризація LASSO^[en] Тихонова Еластично-сіткова^[en] Статистичне навчання Теорія Вапника — Червоненкіса Теорія обчислювального навчання^[en]
Місця машинного навчання ECML PKDD^[en] NeurIPS^[en] ICML^[en] ICLR IJCAI ML JMLR
Пов'язані статті Глосарій штучного інтелекту^[en] Список наборів даних для досліджень з машинного навчання Перелік понять машинного навчання^[en]
п о р

У математиці, доре́чно-ве́кторна маши́на (ДВМ, англ. Relevance Vector Machine, RVM) — це методика машинного навчання, яка використовує баєсове висновування для отримання ощадливих розв'язків для регресії та ймовірнісної класифікації.^[1] ДВМ має однаковий функційний вигляд з опорно-векторною машиною, але забезпечує ймовірнісну класифікацію.

Вона фактично рівнозначна моделі ґаусового процесу з функцією коваріації^[en]

${\displaystyle k(\mathbf {x} ,\mathbf {x'} )=\sum _{j=1}^{N}{\frac {1}{\alpha _{j}}}\varphi (\mathbf {x} ,\mathbf {x} _{j})\varphi (\mathbf {x} ',\mathbf {x} _{j})}$

де ${\displaystyle \varphi }$ є ядровою функцією^[en] (зазвичай ґаусовою), ${\displaystyle \alpha _{j}}$ є дисперсіями апріорних значень елементів вектора вагових коефіцієнтів ${\displaystyle w\sim N(0,\alpha ^{-1}I)}$, а ${\displaystyle \mathbf {x} _{1},\ldots ,\mathbf {x} _{N}}$ є вхідними векторами тренувального набору.^[2]

У порівнянні з опорно-векторними машинами (ОВМ, англ. support vector machines, SVM), баєсове формулювання ДВМ уникає набору вільних параметрів, як в ОВМ (які зазвичай вимагають післяоптимізацій на основі перехресної перевірки). Проте ДВМ використовують метод навчання, подібний до очікування-максимізації, і відтак схильні до ризику локальних мінімумів. Це відрізняється від стандартних алгоритмів на основі послідовної мінімальної оптимізації (ПМО), що використовують ОВМ, які гарантують знаходження глобального оптимуму (для опуклої задачі).

Доречно-векторну машину запатентовано у США^[en] компанією Microsoft.^[3]

Див. також

• Ядровий трюк
• Масштабування Платта^[en]: перетворює ОВМ на ймовірнісну модель

Примітки

1. Tipping, Michael E. (2001). Sparse Bayesian Learning and the Relevance Vector Machine. Journal of Machine Learning Research. 1: 211—244. Архів оригіналу за 19 лютого 2020. Процитовано 31 жовтня 2016. (англ.)
2. Candela, Joaquin Quiñonero (2004). Sparse Probabilistic Linear Models and the RVM. Learning with Uncertainty - Gaussian Processes and Relevance Vector Machines (PDF) (Ph.D.). Technical University of Denmark. Архів оригіналу (PDF) за 8 травня 2016. Процитовано 22 квітня 2016. (англ.)
3. US 6633857, Michael E. Tipping, "Relevance vector machine"  (англ.)

Програмне забезпечення

• dlib [Архівовано 17 вересня 2020 у Wayback Machine.], бібліотека для C++
• The Kernel-Machine Library [Архівовано 13 серпня 2020 у Wayback Machine.], бібліотека для C++
• rvmbinary [Архівовано 18 березня 2017 у Wayback Machine.], пакет R для бінарної класифікації
• scikit-rvm [Архівовано 11 червня 2018 у Wayback Machine.]
• fast-scikit-rvm [Архівовано 1 березня 2017 у Wayback Machine.], rvm tutorial [Архівовано 18 грудня 2020 у Wayback Machine.]

Посилання

• Сторінка Тіппінга про Розріджені баєсові моделі та ДВМ [Архівовано 4 липня 2008 у Wayback Machine.] (англ.)
• Підручник з ДВМ від Тристана Флетчера (англ.)
• Прикладний посібник із ДВМ [Архівовано 18 грудня 2020 у Wayback Machine.] (англ.)
• Порівняння ДВМ та ОВМ (англ.)