Boosting
Il boosting [1] è una tecnica di apprendimento automatico che rientra nella categoria dell'apprendimento ensemble.[2] Nel boosting più modelli…
Il boosting [1] è una tecnica di apprendimento automatico che rientra nella categoria dell'apprendimento ensemble.[2] Nel boosting più modelli (deboli) vengono generati consecutivamente dando un peso maggiore agli esempi di training sui quali errori i modelli precedenti commettono errori più grandi [3]. In questo modo si creano modelli via via più "attenti" agli aspetti che hanno causato inesattezze nei modelli precedenti, ottenendo infine un modello aggregato avente migliore accuratezza di ciascun modello che lo costituisce[4].
In algoritmi come Adaboost[5], l'output del modello aggregato è dato dalla somma pesata delle predizioni dei singoli modelli. Ogni volta che si addestra un modello, è prevista una fase di ri-pesatura delle istanze. L'algoritmo di boosting tenderà a dare un peso maggiore alle istanze misclassificate, nella speranza che il successivo modello sia più esperto su queste ultime.
In generale si ha che l'errore di predizione in un problema di apprendimento supervisionato è dato da:
Il boosting mira principalmente a ridurre il bias.[6] Altre tecniche di ensemble learning, come il bagging, mirano invece a ridurre la varianza.
Categorizzazione degli oggetti
Algoritmi di Boosting convessi e non convessi
Voci correlate
- Adaboost
- Gradient boosting
- Foresta casuale
- Apprendimento ensemble
- Bagging (Bootstrap aggregating)
- Metodi di massima entropia
- Brownboost
Note
- ^ (EN) Freund, Yoav e Schapire, Robert E., A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting, in Journal of Computer and System Sciences, vol. 55, n. 1, 1º agosto 1997, pp. 119–139, DOI:10.1006/jcss.1997.1504.
- ^ Zhi-Hua Zhou, Ensemble methods: foundations and algorithms, collana Chapman & Hall/CRC machine learning & pattern recognition series, Taylor & Francis, 2012, ISBN 978-1-4398-3003-1.
- ^ (EN) Robert E. Schapire, The strength of weak learnability, in Machine Learning, vol. 5, n. 2, 1º giugno 1990, pp. 197–227, DOI:10.1007/BF00116037.
- ^ De Mauro, Andrea., Big data analytics : guida per iniziare a classificare e interpretare dati con il machine learning, Apogeo, 2019, ISBN 9788850334780, OCLC 1065010076. URL consultato il 10 novembre 2019.
- ^ (EN) Trevor Hastie, Saharon Rosset e Ji Zhu, Multi-class AdaBoost, in Statistics and Its Interface, vol. 2, n. 3, 2009, pp. 349-360, DOI:10.4310/SII.2009.v2.n3.a8. URL consultato il 10 novembre 2019.
- ^ (EN) Leo Breiman, Bias, variance, and arcing classifiers (PDF), in Statistics Dept., Tech. Rreport, n. 460, Univ. of California at Berkeley,, aprile 1996.
| Controllo di autorità | LCCN (EN) sh2011005111 · J9U (EN, HE) 987007572846405171 |
|---|
Content Disclaimer
Informasi ini disarikan dari Wikipedia dan disajikan kembali untuk tujuan edukasi. Konten tersedia di bawah lisensi CC BY-SA 3.0. Kami tidak bertanggung jawab atas ketidakakuratan data yang bersumber dari kontribusi publik tersebut.
- The information displayed on this website is sourced in part or in whole from Wikipedia and has been adapted for the purpose of restating it. We strive to provide accurate and relevant information, however:
- There is no guarantee of absolute accuracy. Wikipedia is an open, collaborative project that can be edited by anyone, so information is subject to change.
- It is not intended to constitute professional advice. The content displayed is for informational and educational purposes only. For important decisions (e.g., medical, legal, or financial), please consult a professional.
- Content copyright. Wikipedia is licensed under the Creative Commons Attribution-ShareAlike License (CC BY-SA). This means that content may be reused with appropriate attribution and shared under a similar license.
- Responsible use. Any risk arising from the use of information from this website is entirely the responsibility of the user.