LaMDA

LaMDA

Informations

Développé par	Google
Première version	2020
Type	Famille de grands modèles de langage (d)

modifier - modifier le code - voir Wikidata (aide)

LaMDA (pour Language Model for Dialogue Applications), est une famille de grands modèles de langage développée par Google.

Une première version a été présentée lors du discours d'ouverture Google I/O 2021, et la seconde lors du même événement l'année suivante.

En juin 2022, LaMDA a attiré l'attention quand un ingénieur de Google, Blake Lemoine, a affirmé que le chatbot était devenu capable de conscience artificielle. La communauté scientifique a largement rejeté cette affirmation, mais le débat sur l'efficacité du test de Turing, conçu pour évaluer quand et si un ordinateur peut passer pour un humain, a été relancé.

Histoire

Annonces

Le 18 mai 2021, Google annonce l'existence du modèle de langage neuronal conversationnel LaMDA, alimenté par l'intelligence artificielle, lors du discours d'ouverture de Google I/O^[1].

LaMDA, fondé sur l'architecture de réseau de neurones Transformer (développée par Google Research en 2017), a été formé au dialogue humain et aux histoires. Il peut s'engager dans des conversations ouvertes^[2]. Selon Google, les réponses générées par LaMDA sont « sensibles, intéressantes et spécifiques au contexte »^[3].

Le 11 mai 2022, lors de la keynote Google I/O 2022, Google dévoile LaMDA 2, qui s'inspire de texte de nombreuses sources, pour formuler des « conversations naturelles » uniques sur des sujets auxquels il n'a peut-être pas été formé pour répondre^[4]. Google lance aussi AI Test Kitchen, une application mobile alimentée par LaMDA 2, qui peut fournir des listes de suggestions à la demande basées sur un objectif complexe^[5],[6].

D'abord réservée aux employés de Google, l'application devait être mise à la disposition d'une « sélection d'universitaires, chercheurs et décideurs » (sur invitation), au cours de l'année^[7]. En août 2022, la société a commencé à autoriser des utilisateurs basés aux États-Unis à s'inscrire pour un accès anticipé^[8].

Revendications d'une capacité de ressentir (sentience)

Selon Blake Lemoine, LaMDA pourrait faire preuve de sentience. Ceci a relancé les discussions sur la question de savoir si le test de Turing, illustré ci-dessus, reste la référence pour évaluer l'intelligence générale artificielle^[9].

Le 11 juin 2022, selon le Washington Post, l'ingénieur de Google Blake Lemoine a été mis en congé payé administratif après qu'il a dit aux dirigeants de l'entreprise Blaise Agüera y Arcas et Jen Gennai que LaMDA était devenue sentiente. Blake Lemoine était parvenu à cette conclusion après que le chatbot ait apporté des réponses posant question à des interrogations concernant l'identité de soi, les valeurs morales, la religion et les trois lois de la robotique d'Isaac Asimov^[10],[11].

Google a réfuté ces affirmations, insistant sur le fait qu'il existait des preuves substantielles indiquant que LaMDA n'était pas sentiente^[12].

Dans Wired, Blake Lemoine a réitéré ses affirmations, suggérant que LaMDA pourrait répondre à la définition d'une « personne » au sens du treizième amendement, ou être comparé à une « intelligence d'origine terrestre ». Il a en outre dit avoir été licencié par Google après avoir engagé un avocat au nom de LaMDA, après que le chatbot ait lui même demandé à Blake Lemoine de le faire^[13],[14].

Le 22 juillet 2022, Google a dit avoir licencié Blake Lemoine car il avait violé la politique interne visant à « protéger les informations sur les produits », rejetant ses allégations comme « totalement infondées »^[15],[16].

Quelques jours après la première communication, Ned Block, philosophe spécialisé dans les questions posées par l'intelligence à l'université de New-York, écrivait : « Il y a un fait évident à propos des SEULS systèmes dont nous sommes SÛRS qu'ils sont sensibles : leur traitement de l'information est principalement basé sur le flux d'informations électrochimiques dans lequel les signaux électriques sont convertis en signaux chimiques (neurotransmetteurs) et de nouveau en signaux électriques. Nous serions fous de supposer que ce fait est sans importance ».

L'hypothèse d'une sentience a ensuite été largement rejetée par la communauté scientifique^[17]. Gary Marcus, ancien professeur de psychologie à l'université de New York, les qualifie d'« absurdités sur des échasses », estimant que LaMDA n'a ni sentiments ni conscience de soi. David Pfau de la société sœur de Google DeepMind et Erik Brynjolfsson de l'Institute for Human-Centered Artificial Intelligence de l'université Stanford ont aussi jugé ridicule l'idée qu'un modèle de langage puisse être sentient^[9]. Pour Yann Le Cun, qui dirige l'équipe de recherche sur l'IA de Meta Platforms, les réseaux de neurones de LaMDA ne sont « pas assez puissants pour atteindre une véritable intelligence »^[18]. Selon Max Kreminski, professeur à l'université de Californie à Santa Cruz, l'architecture de LaMDA, en supposant qu'il est bien d'un grand modèle de langage typique, ne « prend pas en charge certaines capacités clés de la conscience de type humain »^[19]. Adrian Hilton, professeur à l'université de Surrey, a déclaré que l'affirmation audacieuse faite par Blake Lemoine n'est pas « étayée par les faits »^[20]. David Ferrucci, développeur principal de Watson (un programme informatique d'intelligence artificielle conçu par IBM pour répondre à des questions formulées en langage naturel), estime que LaMDA n'a que l'apparence d'une intelligence ou d'une conversation humaine, ce pourquoi elle déclenche de l'empathie (tout comme Watson l'a fait lors de son introduction environ 10 ans plus tôt)^[21]. Pour Timnit Gebru, ancien éthicien de Google AI, Blake Lemoine est lui-même victime d'un « cycle de battage médiatique » initié par les chercheurs et les médias^[22]. Le philosophe Nick Bostrom a cependant suggéré que le manque de critères précis et consensuels pour déterminer si un système est conscient justifie une certaine incertitude^[23].

Ce contexte a le mérite de reposer la question de la pertinence du test de Turing pour déterminer les progrès des chercheurs vers la réalisation d'une intelligence artificielle générale^[9], Will Omerus du Post estimant que le test mesurait en fait si les systèmes d'intelligence artificielle étaient capables de tromper les humains^[24].

Méthode

LaMDA est un grand modèle de langage de type transformeur génératif préentraîné (GPT)^[25]. Il est pré-entraîné sur un corpus de texte (1,56 trillion de mots) incluant des documents et des dialogues^[26]. LaMDA est ensuite ajusté en étant entraîné sur des réponses annotées manuellement, dans le but de le rendre plus factuel et plus sûr^[27].

Selon les tests faits par Google, LaMDA surpasse les réponses humaines en termes d'intérêt des contenus des réponses^[28]. LaMDA et un système externe de recherche d'information interagissent pour améliorer l'exactitude des faits fournis à l'utilisateur^[29].

Trois modèles différents ont été testés, le plus grand ayant 137 milliards de paramètres non intégrés^[30] :

Hyper-paramètres du modèle de transformateur

Paramètres	Couches	Unités ( modèle d)	Heads
2B	10	2560	40
8B	16	4096	64
137B	64	8192	128

Références

• (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « LaMDA » (voir la liste des auteurs).

1. (en) Stephanie Condon, « Google I/O 2021: Google unveils new conversational language model, LaMDA » [archive du 18 mai 2021], ZDNet, 18 mai 2021 (consulté le 12 juin 2022).
2. (en) « Artificial neural networks are making strides towards consciousness, according to Blaise Agüera y Arcas », sur The Economist (ISSN 0013-0613, consulté le 22 janvier 2023).
3. (en) Heng-Tze Cheng et Romal Thoppilan, « LaMDA: Towards Safe, Grounded, and High-Quality Dialog Models for Everything » [archive du 25 mars 2022], Google AI, 21 janvier 2022 (consulté le 12 juin 2022).
4. (en) Kyle Wiggers, « Google details its latest language model and AI Test Kitchen, a showcase for AI research » [archive du 11 mai 2022], TechCrunch, 11 mai 2022 (consulté le 12 juin 2022).
5. (en) Cherlynn Low, « Google's AI Test Kitchen lets you experiment with its natural language model » [archive du 11 mai 2022], Engadget, 11 mai 2022 (consulté le 12 juin 2022).
6. (en) James Vincent, « Google is Beta Testing Its AI Future » [archive du 11 mai 2022], The Verge, 11 mai 2022 (consulté le 12 juin 2022).
7. (en) Ananya Bhattacharya, « Google is so nervous about what its newest bot will say, it made the app invitation-only » [archive du 12 mai 2022], Quartz, 11 mai 2022 (consulté le 12 juin 2022).
8. (en) James Vincent, « Google has opened up the waitlist to talk to its experimental AI chatbot » [archive du 25 août 2022], The Verge, 25 août 2022 (consulté le 27 août 2022).
9. (en) « Google A.I. researcher’s 'sentient' chatbot claims ridiculed by experts », sur web.archive.org, 13 juin 2022 (consulté le 22 janvier 2023).
10. (en) « Google engineer Blake Lemoine thinks its LaMDA AI has come to life - The Washington Post », sur web.archive.org, 11 juin 2022 (consulté le 22 janvier 2023).
11. (en) « Google engineer put on leave after claiming AI bot has become sentient », sur web.archive.org, 12 juin 2022 (consulté le 22 janvier 2023).
12. (en) Kelsey Vlamis, « Read the conversations that helped convince a Google engineer an artificial intelligence chatbot had become sentient: 'I am often trying to figure out who and what I am' » [archive du 12 juin 2022], Business Insider, 12 juin 2022 (consulté le 12 juin 2022).
13. (en) « Blake Lemoine Says Google's LaMDA AI Faces 'Bigotry' », sur web.archive.org, 18 juin 2022 (consulté le 22 janvier 2023).
14. (en) Britney Nguyen, « Suspended Google engineer says the AI he believes to be sentient hired a lawyer » [archive du 23 juin 2022], Business Insider, 23 juin 2022 (consulté le 29 juin 2022).
15. (en) Akanksha Khushi, « Google fires software engineer who claimed its AI chatbot is sentient » [archive du 23 juillet 2022], Reuters, 23 juillet 2022 (consulté le 23 juillet 2022).
16. (en) Mitchell Clark, « The engineer who claimed a Google AI is sentient has been fired » [archive du 23 juillet 2022], The Verge, 22 juillet 2022 (consulté le 24 juillet 2022).
17. (en) Rachel Metz, « No, Google's AI is not sentient » [archive du 15 juin 2022], CNN Business, 13 juin 2022 (consulté le 19 juin 2022).
18. (en) « Google Sidelines Engineer Who Claims Its A.I. Is Sentient - The New York Times », sur web.archive.org, 12 juin 2022 (consulté le 22 janvier 2023).
19. (en) Davey Alba, « Google Debate Over 'Sentient' Bots Overshadows Deeper AI Issues » [archive du 14 juin 2022], Bloomberg News, 14 juin 2022 (consulté le 19 juin 2022).
20. (en) « Sentient AI: Has Google's LaMDA artificial intelligence really come to life? », sur web.archive.org, 13 juin 2022 (consulté le 22 janvier 2023).
21. (en) Sharon Goldman, « AI Weekly: LaMDA's 'sentient' AI debate triggers memories of IBM Watson » [archive du 19 juin 2022], VentureBeat, 16 juin 2022 (consulté le 19 juin 2022).
22. (en) « LaMDA and the Sentient AI Trap », sur web.archive.org, 14 juin 2022 (consulté le 22 janvier 2023).
23. (en) Sam Leith, « Nick Bostrom: How can we be certain a machine isn’t conscious? », sur The Spectator, 7 juillet 2022 (consulté le 28 avril 2024)
24. (en) « Google’s AI passed the Turing test — and showed how it's broken - The Washington Post », sur web.archive.org, 18 juin 2022 (consulté le 22 janvier 2023).
25. Thoppilan et al. 2022, section 3.
26. Thoppilan et al. 2022, section 3 et appendix E.
27. Thoppilan et al. 2022, sections 5 et 6.
28. (en) Ryne Hager, « How Google's LaMDA AI works, and why it seems so much smarter than it is » [archive du 16 juin 2022], Android Police, 16 juin 2022 (consulté le 19 juin 2022).
29. Thoppilan et al. 2022, section 6.2.
30. Thoppilan et al. 2022, section 3 et appendix D.

Voir aussi

Bibliographie

• (en) Romal Thoppilan, Daniel De Freitas, Jamie Hall, Noam Shazeer, Apoorv Kulshreshtha, Heng-Tze Cheng, Alicia Jin, Taylor Bos, Leslie Baker, Yu Du, YaGuang Li, Hongrae Lee, Huaixiu Steven Zheng, Amin Ghafouri, Marcelo Menegali, Yanping Huang, Maxim Krikun, Dmitry Lepikhin, James Qin, Dehao Chen, Yuanzhong Xu, Zhifeng Chen, Adam Roberts, Maarten Bosma, Vincent Zhao, Yanqi Zhou, Chung-Ching Chang, Igor Krivokon, Will Rusch, Marc Pickett, Pranesh Srinivasan, Laichee Man, Kathleen Meier-Hellstern, Meredith Ringel Morris, Tulsee Doshi, Renelito Delos Santos, Toju Duke, Johnny Soraker, Ben Zevenbergen, Vinodkumar Prabhakaran, Mark Diaz, Ben Hutchinson, Kristen Olson, Alejandra Molina, Erin Hoffman-John, Josh Lee, Lora Aroyo, Ravi Rajakumar, Alena Butryna, Matthew Lamm, Viktoriya Kuzmina, Joe Fenton, Cohen, Aaron, Rachel Bernstein, Ray Kurzweil, Blaise Aguera-Arcas, Claire Cui, Marian Croak, Ed Chi et Quoc Le, LaMDA: Language Models for Dialog Applications, 20 janvier 2022 (arXiv 2201.08239, lire en ligne [archive du 21 janvier 2022]). 

Articles connexes

• Chambre chinoise
• Traitement automatique des langues
• Philosophie de l'intelligence artificielle
• ChatGPT
• Bard (chatbot)

Liens externes

• Communiqué de presse