PaLM

PaLM (Pathways Language Model)

นักพัฒนา	Google AI
วันที่เปิดตัว	26 เมษายน 2022; 2 ปีก่อน (2022-04-26)
ชื่อบริการ	PaLM
ภาษา	มากกว่า 100 ภาษา
เว็บไซต์	ai.google/discover/palm2/

PaLM (ย่อมาจาก Pathways Language Model) เป็นหนึ่งในแบบจำลองภาษาขนาดใหญ่ ที่พัฒนาโดยกูเกิล เวอร์ชันล่าสุดคือ PaLM2 ซึ่งประกาศในงาน Google I/O 2023

PaLM มีความต่างจาก LaMDA ซึ่งเป็นแบบจำลองภาษาขนาดใหญ่ที่เชี่ยวชาญด้านการสนทนาที่ทางกูเกิลประกาศในปี 2021 ตรงที่ได้รับการพัฒนาโดยคำนึงถึงการใช้งานที่หลากหลายมากกว่า ในเดือนมีนาคม 2023 กูเกิลได้เผยแพร่ API บางส่วนของ PaLM บางส่วนให้นักพัฒนาทั่วไปเข้าถึงได้

ความสามารถ

เมื่อเทียบกับ LaMDA ซึ่งพัฒนาโดยกูเกิลเหมือนกันซึ่งเป็นแบบจำลองภาษาขนาดใหญ่ที่เชี่ยวชาญด้านการสนทนา PaLM เป็นแบบจำลองภาษาขนาดใหญ่ที่มีประสิทธิภาพสูงซึ่งไม่เพียงแต่เก่งในการสนทนาเท่านั้น แต่ยังรวมถึงการสร้างประโยคและการจำแนกประเภทด้วย จำนวนพารามิเตอร์น้ำหนักซึ่งเป็นหนึ่งในตัวชี้วัดประสิทธิภาพอยู่ที่ 540 พันล้าน เมื่อเทียบกับคู่แข่งอย่าง GPT-3 (175 พันล้าน^[1]), GPT-3.5 (355 พันล้าน^[2]), LLaMA (65 พันล้าน) รวมถึง LaMDA ของกูเกิลเอง (137 พันล้าน^[3]) แล้วถือว่าสูงกว่ามาก^[4] ด้วยเหตุนี้ทางกูเกิลจึงอ้างว่าได้ปรับปรุงความสามารถการประมวลผลภาษาธรรมชาติ อย่างมีนัยสำคัญ เช่น คำถามและคำตอบ และการอ่านบริบท และได้ประสิทธิภาพที่เหนือกว่าแบบจำลองภาษาขนาดใหญ่ที่กล่าวมาข้างต้นหรือ LLaMA ที่พัฒนาโดยเมตา^[5] PaLM2 เวอร์ชันล่าสุดยังรองรับมากกว่า 100 ภาษา ทำให้สามารถทำการแปลได้หลายภาษา นอกจากนี้ การอ่านบริบท ทักษะการคำนวณ และการคิดเชิงตรรกะยังแข็งแกร่งขึ้น และตอนนี้ยังสามารถเข้าใจ สุภาษิต ปริศนา อุปมาอุปไมย อุปลักษณ์ และ สำนวน ได้แล้ว

อย่างไรก็ตาม มีปัญหาต่าง ๆ เช่น การเพิ่มพลังการประมวลผลที่จำเป็นเนื่องจากพารามิเตอร์ที่เพิ่มขึ้น ซึ่งตรงจุดนี้ LLaMA ได้รับการออกแบบให้ทำงานบน GPU ตัวเดียวโดยจงใจลดจำนวนพารามิเตอร์^[6] การวิจัยโดยมหาวิทยาลัยและบริษัทต่าง ๆ แสดงให้เห็นว่ามีประสิทธิภาพเทียบเท่ากับแบบจำลองภาษาขนาดใหญ่เช่น GPT-3^[7] และเนื่องจากทำงานบน GPU ตัวเดียว จึงสามารถใช้บนคอมพิวเตอร์ส่วนบุคคลที่บ้านได้

อ้างอิง

1. "GPT-3とは？仕組みや活用事例まで詳しく解説！". メタバース相談室 (ภาษาญี่ปุ่น). สืบค้นเมื่อ 2023-04-22.
2. "大規模言語モデル（LLM：Large Language Model）とは？". ＠IT (ภาษาญี่ปุ่น). สืบค้นเมื่อ 2023-04-22.
3. gdep. "[No.61]GoogleのAIは自我を持ち人間になった！？チャットボット「LaMDA」は「自分は感性を持ち人間として認めてほしい」と要求". GDEP Solutions (ภาษาญี่ปุ่น). สืบค้นเมื่อ 2023-04-22.
4. ASCII. "グーグル、大規模言語モデル「PaLM」のAPIを発表". ASCII.jp (ภาษาญี่ปุ่น). สืบค้นเมื่อ 2023-04-22.
5. "Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance". ai.googleblog.com (ภาษาอังกฤษ). สืบค้นเมื่อ 2023-04-22.
6. "Metaが大規模言語モデル「LLaMA」を発表、GPT-3に匹敵する性能ながら単体のGPUでも動作可能". GIGAZINE (ภาษาญี่ปุ่น). สืบค้นเมื่อ 2023-04-22.
7. "論文要約：LLaMA: Open and Efficient Foundation Language Models". Qiita (ภาษาญี่ปุ่น). สืบค้นเมื่อ 2023-05-04.