هلوسة (ذكاء اصطناعي)

  لمعانٍ أخرى، طالع هلوسة (توضيح).

نسبَ شات جي بي تي رواية برهان العسل التي صدرت عام 2007 للكاتبة رضوى عاشور مع أنه لم يسبق لها وأن أصدرت طوال مشوارها روايةً تحملُ نفس الاسم، كما عرَّفها على أنها كاتبة ليبيّة بينما هي كاتبة مصريّة من مواليد القاهرة ولا يُوجد أيّ مصدر عرَّف رضوى على أنها كاتبة ليبيّة.

حين سؤاله نفس السؤال مرّة ثانية، أجابَ شات جي بي تي بإجابة مختلفة كليًا عن الأولى، ولم يكتفِ بهذا فحسب بل اخترعَ اسمًا من عنده حيثُ لا تُوجد أيّ كاتبة أردنيّة تحملُ الاسم «ربى جال الله».

تُقدّم الصورتان مثالًا بسيطًا على هلوسة برامج الذكاء الاصطناعي مثل شات جي بي تي الذي قدّم جوابان مختلفان لسؤال واحد، ولم يكتفي بهذا فحسب بل كانت أجوبته مليئة بـ «الهلوسة» والمعلومات التي لا مصدر لها.

هلوسة الذكاء الاصطناعي وقد يُشار لها بكلمة الهلوسة فحسب في المواضيع والأبحاث التي تخصُّ الذكاء الاصطناعي هي الردود والإجابات الواثقة التي تُقدّمها أنظمة الذكاء الاصطناعي على اختلافها والتي لا مصدر لها ضمنَ بيانات التدريب، التحقق والاختبار التي خضعت لها.^[1][2][3] قد تُقدّم برامج أو بوتات الدردشة بيانات أو معلومات لا وجود لها وليست صحيحة بالمرّة بل وغير موجودة أو مضمَّنة ضمنَ البيانات التي تدرَّبت عليها أصلًا. يُمكن على سبيلِ المثال لا الحصر لبوتات الدردشة أن تتحدث بخصوص عائدات شركة تسلا، فتخترع رقمًا عشوائيًا من طرفها بالقولِ إنّ عائدات الشركة بلغت 13.6 مليار دولار وتتحدث عن هذا الرقم بدرجة عالية من الثقة، ثم تُكرّره في أكثر من نقاش أو محادثة كما لو أنَّ الرقم صحيح ومثبت مع أنّه خاطئ في الحقيقة.^[4]

سُمّيت هذه الظاهرة باسمِ هلوسة الذكاء الاصطناعي قياسًا على ظاهرة الهلوسة في علم النفس البشري، وهي الحالة التي يحصلُ فيها تغيّرٌ في الوعي ما ينجمُ عنه إدراكٌ غير حقيقي وغير موجود في الواقع. يحصلُ نفس الشيء في برامج وبوتات الذكاء الاصطناعي حيث تَردُّ في حالة هلوستها بردود وأجوبة بطريقة واثقة قد يشعر معها المحاور أنّها صحيحة لكنها في واقع الحال ليست كذلك، كما أنّ ردود البوتات عند حالات الهلوسة هي ردودٌ مختلقَة ولا وجود لها في بيانات التدريب الخاصة بها.^[5][ا]

شاعَ مصطلح هلوسة الذكاء الاصطناعي عام 2022 تزامنًا مع طرحِ روبوت المحادثة شات جي بي تي والذي سُرعان ما اكتسبَ شهرة وشعبيّة كبيرة، حيثُ اشتكى بعضٌ من مستخدمي الروبوت من أنه يُعاني في بعض المرات مما وُصفَ بـ «الاعتلال النفسي» أو «الاعتلال الاجتماعي» حيث ضمَّن روبوت الدردشة معلومات غير صحيحة بالمرّة وولَّد أكاذيب عشوائية تبدو واقعيّة أو صحيحة خلال تبادل الرسائل معه.^[7] مثالٌ آخرٌ على هلوسة برامج وبوتات الذكاء الاصطناعي هو عندما تنسى أنها نماذج لغويّة أو روبوتات محادثة آلية فتقول أنها بشر أو شيء آخر.^[8] اعتبرَ محللون وخبراء تعلّم الآلة والذكاء الاصطناعي أنَّ الهلوسة المتكررة لبرامج الذكاء الاصطناعي تُعتبر مشكلة رئيسية ضمنَ المشاكل التي يُواجهها المجال.^[9]

تحليل

وصفَ باحثون ضمنَ مجال هلوسة الذكاء الاصطناعي هذه الهلوسة المتكرّرة وفي أكثر من بوت دردشة اصطناعي بـ «الظاهرة متعدّدة الأبعاد» فيما نسبَ بعضهم سبب الهلوسة إلى بيانات التدريب غير الكافيّة. يعتقدُ بعض الباحثين أن بعضًا من استجابات الذكاء الاصطناعي غير الصحيحة والتي يُصنّفها البشر على أنها هلوسة هي في الواقع ناجمة عن بيانات التدريب، وذهبَ بعضهم أبعد من ذلك بالقول إنّ بعضًا من إجابات وردود برامج الدردشة التي يُصنّفها البشر على أنها هلوسة قد تكونُ «ردودًا صحيحة» لكنّ مُحاور البوت يفشلُ في فهمها أو استيعابها.

قد تفشل بوتات الذكاء الاصطناعي في تحديد صورة كلب فتقول أنَّ من في الصورة قطّة مثلًا، ويرى باحثون أنّ سبب مثل هذه الاختلالات هو أنّ البشر ينظرون للصورة النهائيّة والتي تُظهر كلبًا فعلًا، على عكسِ الذكاء الاصطناعي الذي لا يتعامل مع الصورة النهائيَة فحسب بل يتعامل معَ ما يُعرَف بـ «الأنماط الصغيرة» في الصورة أو مجموعة الصور الأصليّة والتي قد تبدو لبرامج الذكاء في حينها قطّة.^[10]

على الجانبِ المقابل، رفضَ باحثون آخرون هذه التحليلات والتفسيرات،^[11] مؤكّدين أنّ بوتات الدردشة قد تكون منحازة وقد تُقّدم أجوبة خاطئة ومختلقَة بسبب ما يُعرَف بالتعلّم الآلي العدائي والذي من مظاهره تزويد البرامج خلال مرحلة تعلّمها ببيانات غير صحيحة.^[11]

هلوسات شات جي بي تي

يستندُ شات جي بي تي المطوَّر من شركة أوبن أيه آي، والذي أُصدرَ في نسخته التجريبية للمستخدمين في كانون الأول/ديسمبر 2022، إلى عائلة نموذج عائلة جي بي تي-3.5. أطلقَ البروفيسور إيثان مولليك من كلية وارتون لإدارة الأعمال على شات جي بي تي اسم «متدرِّب كلي العلم، ومتشوق لإرضائك لكنّه يكذب عليك أحيانًا». في إحدى التجارب طلبت عالمة البيانات تيريزا كوباكا من روبوت الدردشة أن يُحدثها عن ظاهرة «المغناطيس الكهربائي المقلوب الدائري» (بالإنجليزية: cycloidal inverted electromagnon)‏ فردَّ شات جي بي تي عبرَ إجابة بدت معقولة ودعمها باقتباسات لها علاقة بمواضيع قريبة من الكلمات المستخَدمة في اسم الظاهرة التي اختلقتها من عقلها. لقد أجبرَ ردُّ البوت المعقول تيريزا على التحقّق مرة أخرى مما إذا كانت قد كتبت عن طريق الخطأ اسم ظاهرة حقيقية. ردود روبوت الدردشة «المثاليّة» والتي تبدو صحيحة دائمًا دفعت علماء غربيين آخرين مثل أورين إتزيوني إلى القولِ أنَّ مثل هذه البرامج يُمكن أن تمنحك في كثيرٍ من الأحيان «إجابة رائعة للغاية لكنها خاطئة تمامًا».^[12]

دخلت سي إن بي سي هي الأخرى في محادثات مع شات جي بي تي، وفي مرّة طلبت منه كلمات أغنية «The Ballad of Dwight Fry» لكنّ برنامج الذكاء الاصطناعي قدَّم كلمات مبتكرة بدلًا من الكلمات الأصليّة للأغنيّة.^[13] في تجربة ثانيّة طُرحَ على البوت سؤالٌ حول شخصيات من نيو برونزويك، فردَّ شات جي بي تي بالعديدِ من الإجابات والردود الصحيحة لكنّه صنَّف سامانثا بي على أنها شخصٌ من نيو برونزويك مع أنها ليست كذلك.^[14] طلبت شركة فاست كومباني من شات جي بي تي تحرير مقال إخباري عن الربع المالي الأخير لشركة تسلا، فردَّ البرنامج الآلي بمقالٍ متماسك لكنّه قدَّم أرقام مالية غير صحيحة.^[15] استمرارًا مع هلوسة شات جي بي تي، فقد طُلبَ منه دليلٌ على أنَّ الديناصورات قد بنت حضارة، فادعى في ردّه أنَّ هناك بقايا أحفورية لأدوات الديناصورات بل ذكر أنَّ بعض أنواع الديناصورات طوَّرت أشكالًا بدائية من الفن، مثل النقوش على الأحجار.^[16][17]

يرى محللون وباحثون أنَّ الهلوسة المتكررة هي مشكلة رئيسية في تقنية نماذج اللغة الكبيرة. وذكرَ مسؤول تنفيذي في شركة غوغل أنَّ الحد من الهلوسة تُعتبر مهمة أساسية تُطوَّر في بوت الدردشة بارد (بالإنجليزية: Bard)‏ منافس شات جي بي تي.^[18][19] عانى بوت الدردشة «Bing AI» من شركة مايكروسوفت الذي صدرَ عام 2023 والمبني على نموذج جي بي تي هو الآخر من هلوسات خلال بعض المحادثات مثله مع باقي بوتات الدردشة المبنيّة على الذكاء الاصطناعي.^[9]

مجالات الهلوسة

معالجة اللغة الطبيعية

غالبًا ما تُعرَّف الهلوسة في مجال معالجة اللغة الطبيعية على أنها «محتوى غير منطقي أو غير مخلص لمحتوى المصدر تتعلَّم وتتدرَّب عليه برامج التعلّم».^[20] قد تحصلُ الهلوسة كذلك بسببِ الأخطاء في الترميز وفكّ التشفير بين النص الأصلي وتمثيلاته أو ما فهمته نماذج اللغة منه، كما قد تحصل الهلوسة خلال تدريبِ برامج الذكاء الاصطناعي على إنتاج استجابات متنوعة عوض تقديم جواب واحد هو نفسه في كل المرات عند طرحِ نفس السؤال. يُمكن أن تحدث الهلوسة أيضًا عندما يُدرَّب الذكاء الاصطناعي على مجموعة بيانات ولا يجري التحقّق مما فهمه من هذه البيانات أو ما استخلصه منها، وعليه فقد تكون البيانات الأصليّة (المصدر) صحيحة لكنّ ما تعلّمه الذكاء الاصطناعي منها قد لا يكون دقيقًا بنفسِ دقّة المصدر الأصلي. إنّ مسببات الهلوسة كثيرة ومتعددة وقد تحصل حتى حينَ التعامل مع البيانات الضخمة حيث قد تخلقُ هذه البيانات الكثيرة والكبيرة مشكلة في المعرفة البارامترية ما قد يُسبّب مشاكل لنظام الذكاء خاصّة إنّ شديد الثقة بمعرفته الأصليّة.

يُولِّد الذكاء الاصطناعي في أنظمة مثل جي بي تي-3 كل كلمة تالية بناءً على سلسلةٍ من الكلمات السابقة التي تعلَّمها بما في ذلك الكلمات التي أنشأها هو بنفسه خلالَ ردّه على المستخدم أو خلال استجابته بصفة عامّة، مما قد يتسبّب في هلوسته وتُصبح هذه الهلوسة قائمة الاحتمال أكثر فأكثر كلما كانت استجابة البرنامج أطول وكتبَ أكثر.^[5] نُشرت عام 2022 – وهو العام الذي شهدَ ازديادًا ملحوظًا في برامج الذكاء الاصطناعي – عدّة أوراق بحثيّة تُعبّر عن قلقها من مشكلة الهلوسة في أنظمة الذكاء الاصطناعي، بما في ذلك الورقة التي قدّمتها مجلة نيويورك تايمز الأمريكيّة والتي أبدت فيها قلقها مؤكّدةً أنه مع استمرار تزايد اعتماد الروبوتات على نماذج اللغة الكبيرة، فإنّ ثقة المستخدم غير المبرَّرة في إنتاجات الروبوتات (الأجوبة التي يخلقها والتفاعلات والصور وغيرها) قد تؤدي إلى مشاكل.^[21]

نشرت شركة ميتا بلاتفورمز تحذيرًا في آب/أغسطس 2022 حين إطلاقها بوت «BlenderBot 3» قائلةً إنَّ النظام عرضة للهوسة، والتي وصفتها بأنّها «أجوبة واثقة [لكنها] غير صحيحة».^[22] كشفت شركة ميتا في الخامس عشر من تشرين الثاني/نوفمبر 2022 النقاب عن عرض توضيحي لبوت التعلّم الآلي «جلاكتيكا» (بالإنجليزية: Galactica)‏ وهو البرنامج المخصَّص بحسبِ الشركة لتخزين المعرفة العلمية والجمع بينها والتفكير بها. جاء المحتوى الذي حُرِّرَ بواسطة جلاكتيكا مصحوبًا بتحذير: «قد تكون المخرجات غير موثوقة! نماذج اللغات تميلُ إلى الهلوسة»، وفي إحدى الحالات عندما طُلب من جلاكتيكا صياغة ورقة حول إنشاء الرموز المعبّرة، استشهدَ البرنامج بورقة وهميّة لمؤلِّف حقيقي يعمل في المجال ذي الصلة. اضطرَّت شركة ميتا لسحبِ جلاكتيكا في السابع عشر من تشرين الثاني/نوفمبر بسببِ الانتقادات التي طالت منتجها بسببِ عدم الدقّة.^[23][24]

يُمكن تلخيص الأسباب البارزة المحتمَلة لهلوسة نماذج اللغة الطبيعية في التالي:^[5]

• الهلوسة بسبب البيانات: وجود اختلافات في محتوى المصدر (والتي تحدث غالبًا مع بيانات التدريب، التحقق والاختبار الكبيرة).
• الهلوسة عندَ التدريب: تحدثُ الهلوسة عندما يكون هناك اختلافٌ بسيطٌ في مجموعة البيانات مع الأخذ في الاعتبار الطريقة التي تُدرَّب بها النماذج. يمكن أن تُساهم أسباب كثيرة في حدوث هذا النوع من الهلوسة، مثل:
  • فكّ التشفير الخاطئ من الشبكات العصبيّة غير الترتيبية.
  • انحياز بسببِ المخرجات التي أنشأها النموذج سابقًا والتي قد يعتمدُ عليها في صياغة مخرجات لاحقة.
  • انحيازٌ ناتجٌ عن الطريقة التي يُشفّر بها النموذج معرفته في معلماته.

الذكاء الاصطناعي

لا يقتصرُ مفهوم «الهلوسة» على معالجة اللغة الطبيعية فحسب، بل يُستعمل المصطلح لوصفِ الاستجابة الواثقة وغير الصحيحة في نفس الوقت لأيّ برنامج ذكاء اصطناعي، وخاصّة لو كانت استجابته (ردّه) غير مبرَّر ولا وارد في البيانات التي تدرَّب عليها.^[5] لاحظت مجلّة وايرد الأمريكيّة في عام 2018 أنه على الرغم من عدم وجود هجمات مسجَّلة ومثبتة، كان هناك ما سمَّته بـ «النزاع الضئيل» حول أن أدوات المستهلك، وأنظمة مثل القيادة الآلية، كانت عرضة للتأثر بالتعلم الآلي العدائي التي قد يُسبّب هلوسة الذكاء الاصطناعي، ومن الأمثلة على ذلك: علامة توقف أصبحت غير مرئيّة لبرامج الذكاء في نظم القيادة الآليّة، وصورة لرجلين على زلاجات حددتها منصة جوجل السحابية بنسبة 91% على أنها من المحتمل أن تكون صورة كلب.^[25]

لا تزالُ ظاهرة الهلوسة غير مفهومة تمامًا،^[5] وعليه فالبحث جاري لمحاولة التخفيفِ من ظهورها.^[26] تبيَّن أنَّ نماذج اللغة لا تُسبّب الهلوسة فحسب، بل تُضخّمها أيضًا، حتى بالنسبة لتلك البرامج التي صُمّمت للتخفيفِ من هذه المشكلة.^[27]

ملاحظات

1. يُفضِّل بعض الباحثين في مجال الذكاء الاصطناعي تسمية حالات الهلوسة هذه التي قد تمرُّ منها بوتات وبرامج الذكاء الاصطناعي باسمِ التخريف (بالإنجليزية: Confabulation)‏ عوضَ الهلوسة.^[6]

المراجع

1. Millidge, Beren. "LLMs confabulate not hallucinate". www.beren.io (بالإنجليزية). Archived from the original on 2023-04-23. Retrieved 2023-04-16.
2. "Shaking the foundations: delusions in sequence models for interaction and control". www.deepmind.com. مؤرشف من الأصل في 2023-03-26.
3. Ji، Ziwei؛ Lee، Nayeon؛ Frieske، Rita؛ Yu، Tiezheng؛ Su، Dan؛ Xu، Yan؛ Ishii، Etsuko؛ Bang، Yejin؛ Dai، Wenliang (نوفمبر 2022). "Survey of Hallucination in Natural Language Generation". ACM Computing Surveys. ج. 55 ع. 12: 1–38. arXiv:2202.03629. DOI:10.1145/3571730. مؤرشف من الأصل (pdf) في 2023-03-26. اطلع عليه بتاريخ 2023-01-15.
4. Lin، Connie (5 ديسمبر 2022). "How to easily trick OpenAI's genius new ChatGPT". Fast Company. مؤرشف من الأصل في 2023-03-29. اطلع عليه بتاريخ 2023-01-06.
5. Ji، Ziwei؛ Lee، Nayeon؛ Frieske، Rita؛ Yu، Tiezheng؛ Su، Dan؛ Xu، Yan؛ Ishii، Etsuko؛ Bang، Yejin؛ Dai، Wenliang (نوفمبر 2022). "Survey of Hallucination in Natural Language Generation". ACM Computing Surveys. ج. 55 ع. 12: 1–38. arXiv:2202.03629. DOI:10.1145/3571730. مؤرشف من الأصل (pdf) في 2023-03-26. اطلع عليه بتاريخ 2023-01-15.Ji, Ziwei; Lee, Nayeon; Frieske, Rita; Yu, Tiezheng; Su, Dan; Xu, Yan; Ishii, Etsuko; Bang, Yejin; Dai, Wenliang; Madotto, Andrea; Fung, Pascale (November 2022). "Survey of Hallucination in Natural Language Generation" (pdf). ACM Computing Surveys. Association for Computing Machinery. '55' (12): 1–38. arXiv:2202.03629. doi:10.1145/3571730. S2CID 246652372. Retrieved 15 January 2023.
6. Millidge, Beren. "LLMs confabulate not hallucinate". www.beren.io (بالإنجليزية). Archived from the original on 2023-04-23. Retrieved 2023-04-16.Millidge, Beren. "LLMs confabulate not hallucinate". www.beren.io. Retrieved 16 April 2023.
7. Seife، Charles (13 ديسمبر 2022). "The Alarming Deceptions at the Heart of an Astounding New Chatbot". Slate. مؤرشف من الأصل في 2023-03-26. اطلع عليه بتاريخ 2023-02-16.
8. Eliot, Lance. "AI Ethics Lucidly Questioning This Whole Hallucinating AI Popularized Trend That Has Got To Stop". Forbes (بالإنجليزية). Archived from the original on 2023-04-11. Retrieved 2023-03-06.
9. Leswing, Kif (14 Feb 2023). "Microsoft's Bing A.I. made several factual errors in last week's launch demo". CNBC (بالإنجليزية). Archived from the original on 2023-04-25. Retrieved 2023-02-16.
10. Matsakis، Louise (8 مايو 2019). "Artificial Intelligence May Not 'Hallucinate' After All". Wired. مؤرشف من الأصل في 2023-03-26. اطلع عليه بتاريخ 2022-12-29.
11. Gilmer، Justin؛ Hendrycks، Dan (6 أغسطس 2019). "A Discussion of 'Adversarial Examples Are Not Bugs, They Are Features': Adversarial Example Researchers Need to Expand What is Meant by 'Robustness'". Distill. ج. 4 ع. 8. DOI:10.23915/distill.00019.1. مؤرشف من الأصل في 2023-01-15. اطلع عليه بتاريخ 2023-01-24.
12. Bowman, Emma (19 Dec 2022). "A new AI chatbot might do your homework for you. But it's still not an A+ student". الإذاعة الوطنية العامة (بالإنجليزية). Archived from the original on 2023-01-17. Retrieved 2022-12-29.
13. Pitt, Sofia (15 Dec 2022). "Google vs. ChatGPT: Here's what happened when I swapped services for a day". CNBC (بالإنجليزية). Archived from the original on 2023-04-26. Retrieved 2022-12-30.
14. Huizinga، Raechel (30 ديسمبر 2022). "We asked an AI questions about New Brunswick. Some of the answers may surprise you". CBC.ca. مؤرشف من الأصل في 2023-01-06. اطلع عليه بتاريخ 2022-12-30.
15. Lin، Connie (5 ديسمبر 2022). "How to easily trick OpenAI's genius new ChatGPT". Fast Company. مؤرشف من الأصل في 2023-03-29. اطلع عليه بتاريخ 2023-01-06.Lin, Connie (5 December 2022). "How to easily trick OpenAI's genius new ChatGPT". Fast Company. Retrieved 6 January 2023.
16. Mollick، Ethan (14 ديسمبر 2022). "ChatGPT Is a Tipping Point for AI". Harvard Business Review. مؤرشف من الأصل في 2023-04-11. اطلع عليه بتاريخ 2022-12-29.
17. Ethan Mollick [emollick]. (تغريدة) https://x.com/emollick/status/1598493794688712707. اطلع عليه بتاريخ 2022-12-29. {{استشهاد ويب}}: الوسيط |title= غير موجود أو فارغ (مساعدة) Missing or empty |date= (help)
18. Leswing, Kif (14 Feb 2023). "Microsoft's Bing A.I. made several factual errors in last week's launch demo". CNBC (بالإنجليزية). Archived from the original on 2023-04-25. Retrieved 2023-02-16.Leswing, Kif (14 February 2023). "Microsoft's Bing A.I. made several factual errors in last week's launch demo". CNBC. Retrieved 16 February 2023.
19. "Google cautions against 'hallucinating' chatbots, report says". Reuters (بالإنجليزية). 11 Feb 2023. Archived from the original on 2023-04-06. Retrieved 2023-02-16.
20. A bot will complete this citation soon. Click here to jump the queue أرخايف:[1].
21. Metz، Cade (10 ديسمبر 2022). "The New Chatbots Could Change the World. Can You Trust Them?". The New York Times. مؤرشف من الأصل في 2023-01-17. اطلع عليه بتاريخ 2022-12-30.
22. Tung, Liam (8 Aug 2022). "Meta warns its new chatbot may forget that it's a bot". ZDNet (بالإنجليزية). Red Ventures. Archived from the original on 2023-03-26. Retrieved 2022-12-30.
23. Edwards, Benj (18 Nov 2022). "New Meta AI demo writes racist and inaccurate scientific literature, gets pulled". Ars Technica (بالإنجليزية الأمريكية). Archived from the original on 2023-04-10. Retrieved 2022-12-30.
24. Michael Black [Michael_J_Black]. (تغريدة) https://x.com/Michael_J_Black/status/1593133722316189696. اطلع عليه بتاريخ 2022-12-30. {{استشهاد ويب}}: الوسيط |title= غير موجود أو فارغ (مساعدة) Missing or empty |date= (help)
25. Simonite، Tom (9 مارس 2018). "AI Has a Hallucination Problem That's Proving Tough to Fix". Wired. کوندي نست بابليكايشن. مؤرشف من الأصل في 2023-04-05. اطلع عليه بتاريخ 2022-12-29.
26. Nie، Feng؛ Yao، Jin-Ge؛ Wang، Jinpeng؛ Pan، Rong؛ Lin، Chin-Yew (يوليو 2019). "A Simple Recipe towards Reducing Hallucination in Neural Surface Realisation" (PDF). Association for Computational Linguistics: 2673–2679. DOI:10.18653/v1/P19-1256. مؤرشف من الأصل (PDF) في 2023-03-27. اطلع عليه بتاريخ 2023-01-15.
27. Dziri، Nouha؛ Milton، Sivan؛ Yu، Mo؛ Zaiane، Osmar؛ Reddy، Siva (يوليو 2022). "On the Origin of Hallucinations in Conversational Models: Is it the Datasets or the Models?" (PDF). Association for Computational Linguistics. DOI:10.18653/v1/2022.naacl-main.38. مؤرشف من الأصل (PDF) في 2023-04-06. اطلع عليه بتاريخ 2023-01-15.