แบบจำลองจำแนก

แบบจำลองจำแนก (discriminative model) หรือ แบบจำลองมีเงื่อนไข (conditional model) เป็นแบบจำลองโลจิสติกประเภทหนึ่งที่ใช้สำหรับ การจำแนกประเภทข้อมูล และ การวิเคราะห์การถดถอย แบบจำลองเหล่านี้กำหนดขอบเขตการตัดสินตามข้อมูลที่สังเกตได้ เช่น "ผ่าน/ไม่ผ่าน" "ชนะ/แพ้" "มีชีวิต/ตาย" "สุขภาพดี/เจ็บป่วย" ฯลฯ

ตัวอย่างของแบบจำลองจำแนกทั่วไป ได้แก่ การถดถอยโลจิสติก, สนามสุ่มมีเงื่อนไข และ ต้นไม้ตัดสินใจ เป็นต้น

ในทางกลับกัน ตัวอย่างทั่วไปของแบบจำลองก่อกำเนิด ได้แก่ ตัวจำแนกเบส์อย่างง่าย, ตัวเข้ารหัสอัตโนมัติแบบแปรผัน และ โครงข่ายปฏิปักษ์ก่อกำเนิด เป็นต้น

นิยาม

แบบจำลองจำแนกนั้นจะทำการวิจัยโดยเน้นไปที่การแจกแจงความน่าจะเป็นมีเงื่อนไข ${\displaystyle P(y|x)}$ ของฉลากจำแนกประเภท ${\displaystyle y}$ ที่ได้จากตัวแปรที่สังเกตการณ์ได้ (ตัวอย่างที่ใช้ฝึกสอน) สำหรับตัวแปรเป้าหมาย ${\displaystyle x}$ ที่ไม่ได้สังเกตการณ์

นี่เป็นข้อที่แตกต่างไปจากแบบจำลองก่อกำเนิดซึ่งเน้นไปที่การศึกษาการแจกแจงความน่าจะเป็นร่วม ${\displaystyle P(x,y)}$

ตัวอย่างเช่น ในการรู้จำวัตถุนั้น โดยทั่วไป ${\displaystyle x}$ จะแสดงถึงพิกเซลดิบของรูปภาพหรือเวกเตอร์ของสมบัติที่สกัดเอาจากพิกเซลดิบของรูปภาพ การสร้างแบบจำลองของการแจกแจงความน่าจะเป็นมีเงื่อนไขภายในกรอบตามทฤษฎีความน่าจะเป็น ${\displaystyle P(y|x)}$ จะช่วยให้สามารถทำนาย ${\displaystyle y}$ จาก ${\displaystyle x}$ ได้

เปรียบเทียบแบบจำลองจำแนกและแบบจำลองก่อกำเนิด

สมมุติว่าตัวอย่างสำหรับฝึกเป็นข้อมูลที่มีป้ายกำกับจำแนกประเภท ${\displaystyle m}$ ตัว และตัวแปรค่าลักษณะ ${\displaystyle n}$ ตัว ${\displaystyle Y:\{y_{1},y_{2},\ldots ,y_{m}\},X:\{x_{1},x_{2},\ldots ,x_{n}\}}$

ในแบบจำลองก่อกำเนิดจะใช้ความน่าจะเป็นร่วม ${\displaystyle P(x,y)}$ ของค่าป้อนเข้า ${\displaystyle x}$ และฉลาก ${\displaystyle y}$ และใช้ ทฤษฎีบทของเบส์ ในการทำนายฉลาก ${\displaystyle {\widetilde {y}}\in Y}$ ที่รู้แล้วที่เป็นไปได้ที่สุดสำหรับค่าป้อนเข้า ${\displaystyle {\widetilde {x}}}$ ที่ไม่รู้จัก^[1]

ในทางกลับกัน แบบจำลองจำแนกไม่สามารถสร้างตัวอย่างจากการแจกแจงร่วมของตัวแปรที่สังเกตได้และตัวแปรเป้าหมาย แต่จะทำงานได้ดีกว่าแบบจำลองกำเนิดสำหรับงานต่าง ๆ เช่น การจำแนกประเภทข้อมูล และ การวิเคราะห์การถดถอย ซึ่งไม่ต้องการการแจกแจงร่วม โดยเหตุผลหนึ่งก็คือ มีตัวแปรสำหรับคำนวณน้อยกว่า^[2][3][1] โดยทั่วไปแล้ว แบบจำลองก่อกำเนิดจะมีความยืดหยุ่นต่อปัญหาหารเรียนรู้ที่ซับซ้อนมากกว่า นอกจากนี้ แบบจำลองจำแนกส่วนใหญ่มักใช้การเรียนรู้แบบมีผู้สอน และไม่รับรองการเรียนรู้แบบไม่มีผู้สอน

การเลือกระหว่างแบบจำลองจำแนก และแบบจำลองก่อกำเนิดนั้น ขึ้นอยู่กับความจำเป็นของการใช้งานเฉพาะนั้น ๆ แบบจำลองจำแนกและแบบจำลองก่อกำเนิดมีความแตกต่างกันตรงที่วิธีการหาความน่าจะเป็นภายหลัง^[4] ในแบบจำลองจำแนกทำนายความน่าจะเป็นภายหลัง ${\displaystyle P(y|x)}$ จากแบบจำลองอิงตัวแปรเสริม และได้ค่าพารามิเตอร์จากข้อมูลการฝึกสอน การประมาณค่าพารามิเตอร์ได้มาจากการหาค่าภาวะน่าจะเป็นสูงสุดหรือการคำนวณการแจกแจงสำหรับพารามิเตอร์ ในทางกลับกัน แบบจำลองก่อกำเนิดมุ่งเน้นไปที่ความน่าจะเป็นร่วม และคำนวณความน่าจะเป็นภายหลัง ${\displaystyle P(k)}$ โดยทฤษฎีบทของเบส์ ดังนั้น ความน่าจะเป็นภายหลังคือ

${\displaystyle P(y|x)={\frac {p(x|y)p(y)}{\textstyle \sum _{i}p(x|i)p(i)\displaystyle }}={\frac {p(x|y)p(y)}{p(x)}}}$ ^[4]

อ้างอิง

1. Ng, Andrew Y.; Jordan, Michael I. (2001). On Discriminative vs. Generative classifiers: A comparison of logistic regression and naive Bayes.
2. Singla, Parag; Domingos, Pedro (2005). "Discriminative Training of Markov Logic Networks". Proceedings of the 20th National Conference on Artificial Intelligence - Volume 2. AAAI'05. Pittsburgh, Pennsylvania: AAAI Press: 868–873. ISBN 978-1577352365.
3. J. Lafferty, A. McCallum, and F. Pereira. Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data. In ICML, 2001.
4. Ulusoy, Ilkay (May 2016). "Comparison of Generative and Discriminative Techniques for Object Detection and Classification" (PDF). Microsoft. สืบค้นเมื่อ October 30, 2018.