Покрокове навчання

В інформатиці покро́кове навча́ння (англ. incremental learning) — це метод машинного навчання, в якому дані входу неперервно використовують для розширення знань наявної моделі, тобто, для подальшого тренування моделі. Він являє собою динамічну методику керованого та некерованого навчання, яку можливо застосовувати, коли тренувальні дані стають доступними поступово з плином часу, або їхній розмір виходить за межі системної пам'яті. Алгоритми, які можуть сприяти покроковому навчанню, відомі як алгоритми покрокового машинного навчання (англ. incremental machine learning algorithms).

Багато традиційних алгоритмів машинного навчання за своєю суттю підтримують покрокове навчання. Інші алгоритми можливо пристосувати для сприяння покроковому навчанню. До прикладів покрокових алгоритмів належать дерева рішень (IDE4,^[1] ID5R^[2] та gaenari), правила рішень,^[3] штучні нейронні мережі (мережі РБФ,^[4] Learn++,^[5] Fuzzy ARTMAP,^[6] TopoART^[7] та IGNG^[8]) та покрокові ОВМ.^[9]

Мета покрокового навчання — пристосовування навчаної моделі до нових даних без забування своїх наявних знань. Деякі системи покрокового навчання мають вбудований певний параметр або припущення, які контролюють релевантність старих даних, тоді як інші, які називають алгоритмами стабільного покрокового машинного навчання, навчаються подання тренувальних даних, які з часом не забуваються навіть частково. Двома прикладами цього другого підходу є Fuzzy ART^[10] та TopoART.^[7]

Покрокові алгоритми часто застосовують до потоків даних та великих даних, розв'язуючи нюанси доступності даних та дефіциту ресурсів відповідно. Передбачування біржових тенденцій та профілювання користувачів — приклади потоків даних, у яких нові дані стають доступними постійно. Застосування покрокового навчання до великих даних спрямоване на швидше класифікування та прогнозування.

Примітки

1. Schlimmer, J. C., & Fisher, D. A case study of incremental concept induction. Fifth National Conference on Artificial Intelligence, 496-501. Philadelphia, 1986 (англ.)
2. Utgoff, P. E., Incremental induction of decision trees. Machine Learning, 4(2): 161-186, 1989 (англ.)
3. Ferrer-Troyano, Francisco, Jesus S. Aguilar-Ruiz, and Jose C. Riquelme. Incremental rule learning based on example nearness from numerical data streams. Proceedings of the 2005 ACM symposium on Applied computing. ACM, 2005 (англ.)
4. Bruzzone, Lorenzo, and D. Fernàndez Prieto. An incremental-learning neural network for the classification of remote-sensing images. Pattern Recognition Letters: 1241-1248, 1999 (англ.)
5. R. Polikar, L. Udpa, S. Udpa, V. Honavar. Learn++: An incremental learning algorithm for supervised neural networks. IEEE Transactions on Systems, Man, and Cybernetics. Rowan University USA, 2001. (англ.)
6. G. Carpenter, S. Grossberg, N. Markuzon, J. Reynolds, D. Rosen. Fuzzy ARTMAP: a neural network architecture for incremental supervised learning of analog multidimensional maps. IEEE transactions on neural networks, 1992 (англ.)
7. Marko Tscherepanow, Marco Kortkamp, and Marc Kammer. A Hierarchical ART Network for the Stable Incremental Learning of Topological Structures and Associations from Noisy Data [Архівовано 2017-08-10 у Wayback Machine.]. Neural Networks, 24(8): 906-916, 2011 (англ.)
8. Jean-Charles Lamirel, Zied Boulila, Maha Ghribi, and Pascal Cuxac. A New Incremental Growing Neural Gas Algorithm Based on Clusters Labeling Maximization: Application to Clustering of Heterogeneous Textual Data. IEA/AIE 2010: Trends in Applied Intelligent Systems, 139-148, 2010 (англ.)
9. Diehl, Christopher P., and Gert Cauwenberghs. SVM incremental learning, adaptation and optimization [Архівовано 2017-12-15 у Wayback Machine.]. Neural Networks, 2003. Proceedings of the International Joint Conference on. Vol. 4. IEEE, 2003. (англ.)
10. Carpenter, G.A., Grossberg, S., & Rosen, D.B., Fuzzy ART: Fast stable learning and categorization of analog patterns by an adaptive resonance system, Neural Networks, 4(6): 759-771, 1991 (англ.)

Посилання

• charleslparker (12 березня 2013). Brief Introduction to Streaming data and Incremental Algorithms. BigML Blog (англ.).
• Gepperth, Alexander; Hammer, Barbara (2016). Incremental learning algorithms and applications (PDF). ESANN (англ.). с. 357—368.
• LibTopoART: програмна бібліотека для завдань покрокового навчання
• Creme: бібліотека для покрокового навчання. Архів оригіналу за 3 серпня 2019.
• gaenari: алгоритм C++ покрокових дерев рішень
• результати пошуку на youtube покрокового навчання (англ.)