Задача класифікації

Частина з циклу
Машинне навчання та добування даних
Парадигми Кероване навчання Некероване навчання Інтерактивне навчання Пакетне навчання Метанавчання Напівкероване навчання Самокероване навчання Навчання з підкріпленням Навчання на основі правил Квантове машинне навчання
Задачі Класифікація Породжувальна модель Регресія Кластерування Знижування розмірності Оцінювання густини Виявляння аномалій Очищування даних^[en] АвтоМН Асоціативні правила Семантичний аналіз^[en] Структурове передбачування Конструювання ознак Навчання ознак Навчання ранжуванню Виведення граматик^[en] Навчання онтологій^[en] Мультимодальне навчання^[en]
Кероване навчання (класифікація • регресія) Ансамблі Випадковий ліс Бутстрепова агрегація Підсилювання Градієнтне підсилювання^[en] AdaBoost^[en] Дерева рішень MARS^[en] CART Доречно-векторна машина k-сусідів Лінійна регресія Логістична регресія Лінійний розділювальний аналіз Наївний баєсів класифікатор Перцептрон Підмайстрове навчання Опорно-векторна машина Штучні нейронні мережі
Кластерування BIRCH^[en] CURE Ієрархічне k-середніх Нечітке Очікування-максимізація DBSCAN OPTICS Спектральне Зсув середнього^[en]
Знижування розмірності Факторний аналіз Метод незалежних компонент^[en] Канонічна кореляція Дискримінантний аналіз Метод головних компонент Власний узагальнений розклад^[en] Розклад невід'ємних матриць t-розподілене вкладення стохастичної близькості Навчання розріджених словників^[en]
Структурове передбачування Графові моделі Баєсова мережа Прихована марковська модель Умовне випадкове поле
Виявляння аномалій RANSAC k-НС Коефіцієнт локального відхилення Відстань Кука Ізоляційний ліс^[en]
Штучна нейронна мережа Автокодувальник Когнітивні обчислення^[en] Глибоке навчання DeepDream Нейронна мережа прямого поширення Рекурентна нейронна мережа ДКЧП ВРВ МВС Резервуарне обчислення Обмежена машина Больцмана ГЗМ Дифузійна модель Самоорганізаційна карта Згорткова нейронна мережа U-Net Трансформер Зоровий Спайкова нейронна мережа^[en] Мемтранзистор Електрохімічна ПДД^[en] (ECRAM)
Навчання з підкріпленням Q-навчання SARSA Метод часових різниць Багатоагентне навчання з підкріпленням Гра проти себе^[en]
Навчання з людьми Активне навчання (машинне навчання)^[en] Краудсорсинг Людина-в-циклі
Діагностування моделей Крива спроможності навчатися^[en]
Математичні засади Ядрові машини Компроміс зсуву та дисперсії Ймовірнісно приблизно коректне навчання Мінімізація емпіричного ризику Оккамове навчання^[en] Регуляризація LASSO^[en] Тихонова Еластично-сіткова^[en] Статистичне навчання Теорія Вапника — Червоненкіса Теорія обчислювального навчання^[en]
Місця машинного навчання ECML PKDD^[en] NeurIPS^[en] ICML^[en] ICLR IJCAI ML JMLR
Пов'язані статті Глосарій штучного інтелекту^[en] Список наборів даних для досліджень з машинного навчання Перелік понять машинного навчання^[en]
п о р

Задача класифіка́ції — формалізована задача, яка містить множину об'єктів (ситуацій), поділених певним чином на класи. Задана скінченна множина об'єктів, для яких відомо, до яких класів вони належать. Ця множина називається вибіркою. До якого класу належать інші об'єкти невідомо. Необхідно побудувати такий алгоритм, який буде здатний класифікувати довільний об'єкт з вихідної множини.

Класифікувати об'єкт — означає, вказати номер (чи назву) класу, до якого належить цей об'єкт.

Класифікація об'єкта — номер або найменування класу, що видається алгоритмом класифікації в результаті його застосування до цього об'єкта.

В математичній статистиці задачі класифікації називаються також задачами дискретного аналізу. В машинному навчанні завдання класифікації вирішується, як правило, за допомогою методів штучної нейронної мережі при постановці експеримента у вигляді навчання з учителем.

Існують також інші способи постановки експерименту — навчання без вчителя, але вони використовуються для вирішення іншого завдання — кластеризації або таксономії. У цих завданнях поділ об'єктів навчальної вибірки на класи не задається, і потрібно класифікувати об'єкти тільки на основі їх подібності. У деяких прикладних областях, і навіть у самій математичній статистиці, через близькість завдань часто не відрізняють завдання кластеризації від завдання класифікації.

Деякі алгоритми для вирішення задач класифікації комбінують навчання з учителем і навчання без вчителя, наприклад, одна з версій нейронних мереж Кохонена — Мережі векторного квантування, яких навчають способом навчання з учителем.

Математичне формулювання завдання

Нехай ${\displaystyle X~}$ — множина описів об'єктів, ${\displaystyle Y~}$ —множина номерів (чи назв) класів. Існує невідома цільова залежність- відображення ${\displaystyle y^{*}\colon X\to Y}$, значення якої відомі лише на елементах скінченної навчальної вибірки ${\displaystyle X^{m}=\{(x_{1},y_{1}),\dots ,(x_{m},y_{m})\}}$. Потрібно побудувати алгоритм ${\displaystyle a\colon X\to Y}$, здатний класифікувати довільний об'єкт ${\displaystyle x\in X}$.

Імовірнісне формулювання завдання

Загальнішим є імовірнісне формулювання завдання. Припускається, що множина пар «об'єкт, клас» ${\displaystyle X\times Y}$ є ймовірнісним простором з невідомою ймовірнісною мірою ${\displaystyle {\mathsf {P}}}$. Є скінченна навчальна вибірка спостережень ${\displaystyle X^{m}=\{(x_{1},y_{1}),\dots ,(x_{m},y_{m})\}}$, згенерована згідно з ймовірнісною мірою ${\displaystyle {\mathsf {P}}}$. Необхідно побудувати алгоритм ${\displaystyle a\colon X\to Y}$, здатний класифікувати довільний об'єкт ${\displaystyle x\in X}$.

Простір характеристик

Характеристикою називається відображення ${\displaystyle f\colon X\to D_{f}~}$, де ${\displaystyle D_{f}~}$ — множина допустимих значень характеристики. Якщо задані характеристики ${\displaystyle f_{1},\dots ,f_{n}~}$, то вектор ${\displaystyle {\mathbf {x} }=(f_{1}(x),\dots ,f_{n}(x))}$ називається характеристичним описом об'єкта ${\displaystyle x\in X}$. Характеристики можна ототожнювати із самими об'єктами. При цьому множину ${\displaystyle X=D_{f_{1}}\times \dots \times D_{f_{n}}}$ називають простором характеристик.

Залежно від множини ${\displaystyle D_{f}}$ характеристики поділяються на такі типи:

• Бінарні характеристики: ${\displaystyle D_{f}=\{0,1\}}$;
• Номінальні характеристики: ${\displaystyle D_{f}}$ — скінченна множина;
• Порядкові характеристики: ${\displaystyle D_{f}}$ — скінченна впорядкована множина;
• Кількісні характеристики: ${\displaystyle D_{f}}$ — множина дійсних чисел.

Часто зустрічаються прикладні задачі з різнотипними характеристиками, для їх вирішення підходять далеко не всі методи.

Типи задач класифікації

Типи вхідних даних

• Характеристичний опис — найпоширеніший випадок. Кожен об'єкт описується набором своїх характеристик, які називаються ознаками. Ознаки можуть бути числовими або нечисловими.
• Матриця відстаней між об'єктами. Кожен об'єкт описується відстанями до всіх інших об'єктів навчальної вибірки. З цим типом вхідних даних працюють деякі методи, зокрема, метод найближчих сусідів, метод потенційних функцій.
• Часовий ряд або сигнал є послідовність вимірів у часі. Кожен вимір може представлятися числом, вектором, а в загальному випадку — характеристичним описом досліджуваного об'єкта в цей час часу.
• Зображення або відеоряд.
• Зустрічаються і складніші випадки, коли вхідні дані представляються у вигляді графів, текстів, результатів запитів до бази даних, і т. д. Як правило, вони приводяться до першого або другого випадку шляхом попередньої обробки даних та вилучення характеристик.

Класифікацію сигналів та зображень називають також розпізнаванням образів.

Типи класів

• Двокласова класифікація. Найпростіший в технічному відношенні випадок, який служить основою для вирішення складніших завдань.
• Багатокласова класифікація. Коли число класів досягає багатьох тисяч (наприклад, при розпізнаванні ієрогліфів або злитого мовлення), завдання класифікації стає істотно важчим.
• Непересічні класи.
• Пересічні класи. Об'єкт може належати одночасно до декількох класів.
• Нечіткі класи. Потрібно визначати ступінь належності об'єкта кожному з класів, звичайно це дійсне число від 0 до 1.

Див. також

• Розпізнавання образів
• Наївний баєсів класифікатор
• Класифікація текстів
• 1R-алгоритм

Посилання

• www.MachineLearning.ru — професійний вікі-ресурс, присвячений машинному навчання та інтелектуального аналізу даних
• Костянтин Воронцов. Курс лекцій Математичні методи навчання за прецедентами [Архівовано 23 вересня 2015 у Wayback Machine.], МФТІ, 2004–2008
• Юрій Ліфшиц. Автоматична класифікація текстів [Архівовано 13 січня 2020 у Wayback Machine.] (Слайди) — лекція № 6 з курсу «Алгоритми для Інтернету» [Архівовано 15 жовтня 2008 у Wayback Machine.]
• kNN і Потенційна енергія [Архівовано 19 січня 2012 у Wayback Machine.] (аплет), Е. М. Міркес і університет Лейстера

Література

1. Айвазян С. А., Бухштабер В. М., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: классификация и снижение размерности. — М.: Финансы и статистика, 1989.
2. Вапник В. Н. Восстановление зависимостей по эмпирическим данным. — М.: Наука, 1979.
3. Журавлев Ю. И., Рязанов В. В., Сенько О. В. «Распознавание». Математические методы. Программная система. Практические применения. — М.: Фазис, 2006. ISBN 5-7036-0108-8.
4. Загоруйко Н. Г. Прикладные методы анализа данных и знаний. — Новосибирск: ИМ СО РАН, 1999. ISBN 5-86134-060-9.
5. Паклин Н. Б., Орешков В. И. Бизнес-аналитика: от данных к знаниям (+ CD). [Архівовано 7 грудня 2011 у Wayback Machine.] -СПб: Питер, 2009. ISBN 978-5-49807-257-9
6. Шлезингер М., Главач В. Десять лекций по статистическому и структурному распознаванию. — Киев: Наукова думка, 2004. ISBN 966-00-0341-2.
7. Шаблон:Книга:The Elements of Statistical Learning
8. Mitchell T. Machine Learning. — McGraw-Hill Science/Engineering/Math, 1997. ISBN 0-07-042807-7.