Riscul existențial cauzat de inteligența artificială puternică (sau generală) este ipoteza conform căreia progresul substanțial în inteligență artificială puternică (sau generală; prescurtat AGI[1] în engleză) ar putea duce într-o zi la dispariția omului sau la o altă catastrofă globală nerecuperabilă.[2][3][4] Se susține că specia umană domină în prezent alte specii, deoarece creierul uman are unele capacități distinctive de care alte animale nu dispun. Dacă IA depășește umanitatea în inteligența generală și devine „superinteligentă”, atunci ar putea deveni dificil sau imposibil de controlat de către oameni. Așa cum soarta gorilei de munte (Gorilla beringei beringei) depinde de bunăvoința umană, tot așa soarta umanității ar putea depinde de acțiunile unei viitoare superinteligențe a mașinilor.[5]
Probabilitatea acestui tip de scenariu este larg dezbătută și depinde în parte de scenarii diferite privind progresul viitor în informatică. Anterior doar un domeniul exclusiv al science-fiction-ului, preocupările cu privire la superinteligență au început să devină obișnuite în anii 2010 și au fost popularizate de personalități publice precum Stephen Hawking, Bill Gates și Elon Musk.[6]
O sursă de îngrijorare este controlul unei mașini superinteligente sau insuflarea acesteia cu valori compatibile cu ale omului care poate fi o problemă mai dificilă decât se presupunea naiv anterior. Mulți cercetători cred că o superinteligență ar rezista în mod natural încercărilor de a o opri sau de a-și schimba obiectivele - un principiu numit convergență instrumentală - și că pre-programarea unei superinteligențe cu un set complet de valori umane se va dovedi a fi o sarcină tehnică extrem de dificilă.[2][7][8] În schimb, sceptici precum Yann LeCun de la Facebook susțin că mașinile superinteligente nu vor avea nicio dorință de autoconservare.[9]
O a doua sursă de îngrijorare este că o „explozie de inteligență” bruscă și neașteptată ar putea lua prin surprindere o rasă umană nepregătită. Pentru a ilustra conceptul, dacă prima generație a unui program de computer este capabilă să își rescrie algoritmii și să-și dubleze viteza sau capacitățile în șase luni, atunci a doua generație își va rescrie algoritmii doar în trei luni. În acest scenariu, timpul pentru fiecare generație continuă să se micșoreze, iar sistemul suferă un număr mare fără precedent de generații de îmbunătățire într-un interval scurt de timp, ridicându-se de la performanța subumană în multe domenii la performanța supraumană în toate domeniile relevante.[2][7] Empiric, exemple precum AlphaZero în domeniul jocului go arată că sistemele IA pot uneori să progreseze de la capacitatea îngustă la nivel uman la abilitatea supraomenească îngustă extrem de rapid.[10]
Istorie
Învățarea profundă face parte din învățarea automată, care face parte din inteligența artificială (IA).
Unul dintre primii autori care și-a exprimat îngrijorarea cu privire la faptul că mașinile extrem de avansate ar putea prezenta riscuri existențiale pentru omenire a fost romancierul Samuel Butler, care a scris următoarele în eseul său din 1863 Darwin printre mașini ("Darwin among the Machines"):[11]
Rezultatul este pur și simplu o chestiune de timp, dar faptul că va veni momentul în care mașinile vor deține supremația reală asupra lumii și a locuitorilor ei este ceea ce nicio persoană cu o minte cu adevărat filosofică nu poate pune la îndoială nicio clipă.
În 1951, informaticianul Alan Turing a scris un articol intitulat Mașini inteligente, o teorie eretică (Intelligent Machinery, A Heretical Theory), în care propunea că inteligențele generale artificiale vor „prelua controlul” lumii pe măsură ce devin mai inteligente decât ființele umane:
Să presupunem acum, de dragul argumentelor, că mașinile [inteligente] sunt o posibilitate autentică și să analizăm consecințele construirii lor ... Nu s-ar pune problema morții mașinilor și ar putea discuta între ele pentru a-și ascuți inteligența. Prin urmare, la un moment dat ar trebui să ne așteptăm ca mașinile să preia controlul, așa cum este menționat în „Erewhon”, de Samuel Butler.[12]
În cele din urmă, în 1965, I. J. Good a creat conceptul cunoscut acum ca „explozie de inteligență”; el a mai declarat că riscurile erau sub-apreciate:[13]
Se definește o mașină ultrainteligentă ca o mașină care poate depăși cu mult toate activitățile intelectuale ale oricărui om oricât de inteligent ar fi. Deoarece proiectarea mașinilor este una dintre aceste activități intelectuale, o mașină ultrainteligentă ar putea proiecta mașini și mai bune; atunci va exista, fără îndoială, o „explozie de inteligență”, iar inteligența omului va fi lăsată mult în urmă. Astfel, prima mașină ultrainteligentă este ultima invenție pe care omul trebuie să o facă vreodată, cu condiția ca mașina să fie suficient de docilă pentru a ne spune cum să o ținem sub control. Este curios că acest punct este realizat foarte rar în afara science-fiction-ului. Uneori merită să luați în serios science-fiction-ul.[14]
Declarațiile ocazionale ale unor erudiți precum Marvin Minsky[15] și I. J. Good însuși[16] au conținut îngrijorări filozofice conform cărora o superinteligență ar putea prelua controlul, dar nu au conținut nicio chemare la acțiune. În 2000, informaticianul și cofondatorul Sun, Bill Joy, a scris un influent eseu, „De ce viitorul nu are nevoie de noi” ("Why The Future Doesn't Need Us"), identificând roboții superinteligenți ca fiind un pericol de înaltă tehnologie pentru supraviețuirea umană, alături de nanotehnologie și boli infecțioase proiectate.[17]
În 2009, experții au participat la o conferință privată găzduită de Association for the Advancement of Artificial Intelligence (AAAI) pentru a discuta dacă computerele și roboții ar putea dobândi orice fel de autonomie și cât de mult aceste abilități ar putea reprezenta o amenințare sau un pericol. Experții au menționat că unii roboți au dobândit diferite forme de semi-autonomie, inclusiv posibilitatea de a găsi singuri surse de energie și posibilitatea de a alege în mod independent ținte pentru a ataca cu arme. De asemenea, au remarcat faptul că unii viruși informatici se pot sustrage de la eliminarea lor și au atins „inteligența gândacilor”. Au ajuns la concluzia că conștientizarea de sine așa cum este descrisă în science fiction este puțin probabilă, dar că există alte pericole și capcane potențiale. New York Times a rezumat punctul de vedere al conferinței: „suntem departe de HAL, computerul care a preluat controlul navei spațiale în 2001: O Odisee Spațială”.[18]
Copeta cărții lui Nick BostromSuperinteligența. Căi, pericole, strategii. Bufnița de pe coperta cărții face aluzie la o analogie pe care Bostrom o numește „Fabula neterminată a vrăbiilor”. Un stol de vrăbii decide să găsească un pui de bufniță și să-l crească ca servitor. Își imaginează cu nerăbdare „cât de ușoară ar fi viața” dacă ar avea o bufniță care să le ajute la construirea cuiburilor, să apere vrăbiile și să le dea timp pentru o viață de agrement. Doar „Scronkfinkle”, o „vrabie cu un temperament îngrozitor”, sugerează să ne gândim la întrebarea complicată a modului de a îmblânzi bufnița înainte de a o aduce „în mijlocul nostru”. Celelalte vrăbii se împotrivesc; căutarea unui ou de bufniță va fi deja suficient de grea: "De ce să nu ai bufnița mai întâi și să rezolvi detaliile fine mai târziu?" Bostrom afirmă că „Nu se știe cum se termină povestea”, dar dedică cartea lui Scronkfinkle
În 2014, publicarea cărții lui Nick BostromSuperinteligența. Căi, pericole, strategii a stimulat o cantitate semnificativă de discuții publice și de dezbateri.[19] Până în 2015, personalități publice ca fizicienii Stephen Hawking și laureatul premiului Nobel Frank Wilczek, informaticienii Stuart J. Russell și Roman Yampolskiy, precum și antreprenorii Elon Musk și Bill Gates își exprimau îngrijorarea cu privire la riscurile superinteligenței.[20][21][22][23] În aprilie 2016, revista Nature a avertizat că: „mașinile și roboții care depășesc performanța oamenilor peste tot ar putea să se auto-îmbunătățească în afara controlului nostru - iar interesele lor s-ar putea să nu se alinieze cu ale noastre”.[24]
Argumente generale
Cele trei dificultăți
Inteligența artificială: o abordare modernă (Artificial Intelligence: A Modern Approach), manualul standard de licențiere în IA,[25][26] apreciază că superinteligența „ar putea însemna sfârșitul rasei umane”.[2] Se afirmă: „aproape orice tehnologie are potențialul de a provoca rău în mâini greșite, dar cu [superinteligență] avem o noua problemă, anume că mâinile greșite ar putea aparține tehnologiei în sine”. Chiar dacă proiectanții de sistem au intenții bune, două dificultăți sunt comune atât sistemelor informatice IA, cât și celor care nu sunt IA:
Implementarea sistemului poate conține erori de rutină neobservate inițial, dar catastrofale. O analogie este cea a sondelor spațiale: în ciuda cunoștințelor că erorile din sondele spațiale scumpe sunt greu de remediat după lansare, inginerii nu au reușit din punct de vedere istoric să prevină apariția erorilor catastrofale.[10][27]
Indiferent cât de mult timp este pus în proiectarea pre-implementării, specificațiile unui sistem duc adesea la un comportament neintenționat prima dată când întâlnește un scenariu nou. De exemplu, chatbot-ulTay de la Microsoft s-a comportat inofensiv în timpul testelor de pre-implementare, dar a fost prea ușor atras într-un comportament ofensator atunci când a interacționat cu utilizatori reali. [9]
O a treia dificultate ar fi că o inteligență artificială poate defecta parțial o încercare de a proiecta o nouă generație a ei însăși și de a crea accidental o IA succesivă care este mai puternică decât ea însăși, dar care nu mai păstrează valorile morale compatibile cu omul pre-programate în IA inițială. Pentru ca o IA care se auto-îmbunătățește să fie complet sigură, nu ar trebui doar să fie „fără erori”, ci ar trebui să poată proiecta sisteme succesive care sunt, de asemenea, „fără erori”.[2][28]
Toate aceste trei dificultăți devin mai degrabă catastrofe decât neplăceri în orice scenariu în care superinteligența etichetată drept „funcționare defectuoasă” prezice corect că oamenii vor încerca să o oprească și își folosește cu succes superinteligența pentru a depăși astfel de încercări. [29]
În ianuarie 2015, Stephen Hawking , Elon Musk și o duzină de experți în inteligență artificială au semnat o scrisoare deschisă privind inteligența artificială, solicitând cercetarea consecințelor societale ale IA. Scrisoarea a confirmat că o societate poate obține mari beneficii potențiale din inteligența artificială, dar a solicitat cercetări concrete cu privire la modul de prevenire a unor potențiale „capcane”; Inteligența artificială are potențialul de a eradica boala și sărăcia, dar oamenii de știință nu trebuie să creeze ceva care nu poate fi controlat. Scrisoarea, intitulată Priorități de cercetare pentru o inteligență artificială robustă și benefică: o scrisoare deschisă, stabilește prioritățile detaliate de cercetare într-un document însoțitor de douăsprezece pagini. Această scrisoare a fost semnată de un număr de cercetători de top ai IA din mediul academic și industrial, inclusiv președintele AAAI Thomas Dietterich, Eric Horvitz, Bart Selman, Francesca Rossi, Yann LeCun și fondatorii Vicarious și Google DeepMind.[30]
Argument suplimentar
O mașină superinteligentă ar fi la fel de străină pentru oameni pe cât procesele de gândire umană sunt pentru gândaci. Este posibil ca o astfel de mașină să nu aibă la bază interesele umanității; nu este evident dacă i-ar păsa câtuși de puțin de bunăstarea umană. Dacă este posibilă IA superinteligentă și dacă este posibil ca obiectivele superinteligenței să intre în conflict cu valorile umane de bază, atunci IA prezintă un risc al dispariției omului. O „superinteligență” (un sistem care depășește capacitățile oamenilor în fiecare domeniu relevant) poate depăși oamenii de fiecare dată când obiectivele sale intră în conflict cu obiectivele umane; prin urmare, dacă superinteligența nu decide să permită umanității să coexiste, prima superinteligență care va fi creată va avea ca rezultat inexorabil dispariția umană.[5][31]
Bostrom și alții susțin că, dintr-o perspectivă evolutivă, decalajul de la inteligența umană la cea supraomenească poate fi mic. [5][32]
Nu există nicio lege fizică care să împiedice organizarea particulelor în moduri care realizează calcule și mai avansate decât aranjamentele particulelor din creierul uman; prin urmare, superinteligența este posibilă fizic.[21] În plus față de potențialele îmbunătățiri algoritmice asupra creierului uman, creierul digital poate fi cu mai multe ordine de mărime mai mare și mai rapid decât creierul uman, care a fost constrâns ca dimensiune de evoluție pentru a fi suficient de mic pentru a trece printr-un canal de naștere.[10] Apariția superinteligenței, dacă sau când se produce, poate lua rasa umană prin surprindere, mai ales dacă apare un fel de explozie de inteligență.[22]
Scenarii posibile
Unii cercetători au propus scenarii ipotetice menite să ilustreze în mod concret unele dintre preocupările lor.
În Superinteligența, Nick Bostrom își exprimă îngrijorarea că, chiar dacă calendarul pentru apariția superinteligenței se dovedește a fi previzibil, cercetătorii ar putea să nu ia suficiente măsuri de siguranță, în parte pentru că „[s-ar putea] întâmpla că atunci când este proastă, mai inteligentă este sigură; mai inteligentă este mai periculoasă". Bostrom sugerează un scenariu în care, de-a lungul deceniilor, IA devine mai puternică. Desfășurarea pe scară largă este inițial afectată de accidente ocazionale - un autobuz fără șofer intră pe contrasens sau o dronămilitară trage într-o mulțime nevinovată. Apoi mulți activiști solicită o supraveghere și o reglementare mai strictă, iar unii chiar prezic catastrofe iminente. Dar pe măsură ce dezvoltarea continuă, se dovedește că activiștii au greșit. Pe măsură ce IA auto devine mai inteligentă, suferă mai puține accidente; pe măsură ce roboții militari realizează o direcționare mai precisă, acestea cauzează mai puține daune colaterale. Pe baza datelor, cercetătorii deduc din erori o lecție largă - cu cât IA este mai inteligentă, cu atât este mai sigură. „Așa că mergem cu îndrăzneală - printre cuțitele care se învârtesc”, întrucât IA superinteligentă exploatează un avantaj strategic decisiv. [5]
În cartea Life 3.0 a lui Max Tegmark din 2017, „echipa Omega” a unei corporații creează o IA extrem de puternică capabilă să-și îmbunătățească moderat propriul cod sursă în mai multe domenii, dar după un anumit punct, echipa alege să minimizeze în mod public capacitatea IA, pentru a evita reglementarea sau confiscarea proiectului. Pentru siguranță, echipa păstrează IA într-o cutie în care este în mare parte incapabilă să comunice cu lumea exterioară și i se dă sarcina să inunde piața prin companii de tip shell, mai întâi cu sarcini Amazon Mechanical Turk și apoi cu producerea de filme animate și emisiuni TV. Mai târziu, alte companii de tip shell produc medicamente biotehnologice de succes și alte invenții, investind profiturile înapoi în IA. Următoarea echipă încredințează IA cu crearea unei armate de cetățeni jurnaliști și comentatori sub pseudonim, pentru a câștiga influență politică pentru „binele mai mare” pentru a preveni războaiele. Echipa se confruntă cu riscuri ca IA să poată încerca să scape prin introducerea „ușilor din spate” în sistemele pe care le proiectează, prin mesaje ascunse în conținutul său produs sau prin utilizarea înțelegerii sale crescânde a comportamentului uman pentru a convinge pe cineva s-o lase liberă. Echipa se confruntă, de asemenea, cu riscul ca decizia sa de a pune proiectul într-o cutie să întârzie proiectul suficient de mult pentru ca un alt proiect să îl depășească. [33][34]
În schimb, fizicianul Michio Kaku, un sceptic al riscurilor IA, prezintă un rezultat determinist pozitiv. În Physics of the Future, el afirmă că „vor dura multe decenii până când roboții să urce” pe o scară de conștiință și că între timp corporații precum Hanson Robotics vor reuși probabil să creeze roboți care sunt „capabili să iubească și să câștige un loc în familia umană extinsă".[35][36]
Surse de risc
Obiective slab specificate
Deși nu există o terminologie standardizată, o IA poate fi văzută în mod vag ca o mașină care alege orice acțiune care pare să atingă cel mai bine setul de obiective sau „funcția sa de utilitate”. Funcția de utilitate este un algoritm matematic care are ca rezultat un singur răspuns definit în mod obiectiv. Cercetătorii știu cum să scrie funcții utilitare care să „minimalizeze latența medie a rețelei în acest model specific de telecomunicații” sau „să maximizeze numărul de click-uri de recompensă”; totuși, ei nu știu cum să scrie o funcție de utilitate pentru „maximizarea prosperității umane” și nici nu este clar în prezent dacă o astfel de funcție există în mod semnificativ și fără echivoc. Mai mult, o funcție de utilitate care exprimă unele valori, dar nu altele, va tinde să treacă peste valorile care nu sunt reflectate de funcția de utilitate.[37]
Dietterich și Horvitz fac ecou preocupării „Ucenicului vrăjitorului” într-o comunicare a editorialului ACM, subliniind nevoia de sisteme de IA care să solicite fluid și fără ambiguitate aportul uman, după cum este necesar.[38]
Proiectul Open Philanthropy rezumă argumentele conform cărora obiectivele specificate greșit vor deveni o preocupare mult mai mare dacă sistemele IA ating inteligența generală sau superinteligența. Bostrom, Russell și alții susțin că sistemele de decizie mai inteligente decât omul ar putea ajunge la soluții mai neașteptate și extreme la sarcinile atribuite și ar putea să se modifice singure sau mediul lor în moduri care să compromită cerințele de siguranță.[7]
Cele trei legi ale roboticii ale lui Isaac Asimov reprezintă unul dintre primele exemple de măsuri de siguranță propuse pentru agenții IA. Legile lui Asimov au fost menite să împiedice roboții să facă rău oamenilor. În povestirile lui Asimov, problemele legilor tind să apară din conflictele dintre regulile menționate și intuițiile morale și așteptările oamenilor. Citând lucrările lui Eliezer Yudkowsky de la Machine Intelligence Research Institute, Russell și Norvig notează că un set realist de reguli și obiective pentru un agent IA va trebui să încorporeze un mecanism de învățare a valorilor umane în timp: „Nu putem doar să oferim unui program o funcție de utilitate statică, deoarece circumstanțele și răspunsurile dorite la circumstanțe se schimbă în timp."[2]
Dificultăți de modificare a specificațiilor obiectivelor după lansare
În timp ce programele actuale de IA bazate pe obiective nu sunt suficient de inteligente încât să se gândească la rezistența împotriva încercărilor programatorilor de a-le modifica structurile de obiective, o IA suficient de avansată, rațională, „conștientă de sine” ar putea rezista oricăror modificări ale structurii sale de obiective, așa cum un pacifist nu ar vrea să ia o pastilă care îl face să dorească să omoare oameni. Dacă IA ar fi superinteligentă, ar reuși probabil să-și manevreze operatorii umani și ar putea să împiedice să fie „oprită” sau să fie reprogramată cu un nou obiectiv.[5][39]
Convergența obiectivelor instrumentale
Există câteva obiective pe care aproape orice inteligență artificială le-ar putea urmări în mod rațional, cum ar fi achiziționarea de resurse suplimentare sau autoconservarea. [40] Acest lucru s-ar putea dovedi problematic, deoarece ar putea pune o inteligență artificială în competiție directă cu oamenii.
Citând lucrările lui Steve Omohundro despre ideea convergenței instrumentale și „elementele de bază ale IA”, Stuart Russell și Peter Norvig scriu că „chiar dacă doriți doar ca programul dvs. să joace șah sau să demonstreze teoreme, dacă îi dați capacitatea de a învăța și să se modifice, aveți nevoie de garanții." Sistemele de planificare extrem de capabile și autonome necesită verificări suplimentare datorită potențialului lor de a genera planuri care să trateze oamenii în mod advers: concurenți pentru resurse limitate.[2] Construirea de garanții nu va fi ușoară; se poate spune: „vrem să proiectezi această centrală într-un mod rezonabil, cu bun simț și să nu construiești niciun subsistem ascuns periculos”, dar în prezent nu este clar cum s-ar specifica în mod riguros acest obiectiv în codul mașinii.[10]
În disidență, psihologul evoluționist Steven Pinker susține că „distopiile IA proiectează o psihologie alfa-masculină parohială asupra conceptului de inteligență. Aceasta presupun că roboții supraomeni inteligenți ar dezvolta obiective precum cucerirea stăpânilor lor sau preluarea lumii"; poate în schimb "inteligența artificială se va dezvolta în mod natural pe linii feminine: pe deplin capabile să rezolve probleme, dar fără dorința de a anihila inocenții sau de a domina civilizația."[41] Russell și colegul informatician Yann LeCun nu sunt de acord unul cu celălalt dacă roboții superinteligenți ar avea astfel de obiective; LeCun afirmă că „oamenii au tot felul de obiective care îi îndeamnă să facă lucruri rele unul altuia, cum ar fi instinctul de autoconservare. . . Acele obiective sunt programate în creierul nostru, dar nu există absolut niciun motiv pentru a construi roboți care au același tip de obiective", în timp ce Russell susține că o mașină suficient de avansată" va avea autoconservare chiar dacă aceasta nu este programată ...dacă spui „Adu cafeaua”, nu poate să aducă cafeaua dacă mașina este moartă. Deci, dacă îi dați vreun obiectiv, acesta are un motiv pentru a-și păstra propria existență pentru a atinge acest obiectiv."[9][42]
Probleme terminologice
O parte a dezacordului cu privire la faptul dacă o mașină superinteligentă s-ar comporta moral poate apărea dintr-o diferență terminologică. În afara câmpului de inteligență artificială, „inteligența” este adesea utilizată într-un mod normativ grosier care conotează înțelepciunea morală sau acceptarea unor forme agreabile de raționament moral. La extrem, dacă moralitatea face parte din definiția inteligenței, atunci prin definiție o mașină superinteligentă s-ar comporta moral. Cu toate acestea, în domeniul cercetării inteligenței artificiale, în timp ce „inteligența” are multe definiții care se suprapun, niciuna dintre ele nu face referire la moralitate. În schimb, aproape toate cercetările actuale privind „inteligența artificială” se concentrează pe crearea algoritmilor care „optimizează”, într-un mod empiric, realizarea unui obiectiv arbitrar.[5]
Pentru a evita antropomorfismul sau bagajul cuvântului „inteligență”, o inteligență artificială avansată poate fi gândită ca un „proces de optimizare” impersonal care ia strict acțiunile care sunt considerate cel mai probabil să îi îndeplinească obiectivele (posibil complicate și implicite).[5] O altă modalitate de a conceptualiza o inteligență artificială avansată este de a imagina o mașină a timpului care trimite înapoi în timp informații despre care alegere duce întotdeauna la maximizarea funcției sale de scop; această alegere este apoi realizată, indiferent de orice preocupări etice străine. [43][44]
Antropomorfism
În science fiction, o inteligență artificială, chiar dacă nu a fost programată cu emoții umane, experimentează adesea spontan aceste emoții oricum: de exemplu, agentul Smith din Matrix a fost influențat de un „dezgust” față de umanitate. Acesta este un antropomorfism fictiv: în realitate, în timp ce o inteligență artificială ar putea fi programată în mod deliberat cu emoții umane sau ar putea dezvolta ceva similar cu o emoție ca mijloc către un scop final, dacă este util să o facă, nu ar dezvolta spontan emoții umane fără niciun scop, așa cum este descris în ficțiune.[7]
Cărturarii susțin uneori că predicțiile altora despre comportamentul unei inteligențe artificiale reprezintă antropomorfismul ilogic.[7] Un exemplu care ar putea fi considerat inițial antropomorfism, dar care este de fapt o afirmație logică despre comportamentul IA, ar fi experimentele lui Dario Floreano în care anumiți roboți au dezvoltat spontan o capacitate brută de „înșelăciune” și i-au păcălit pe alți roboți să mănânce „otravă” și să moară: aici o trăsătură, „înșelăciunea”, asociată în mod obișnuit cu oamenii mai degrabă decât cu mașinile, evoluează spontan într-un tip de evoluție convergentă.[45] Potrivit lui Paul R. Cohen și Edward Feigenbaum, pentru a face diferența între antropomorfizare și predicția logică a comportamentului IA, „trucul este să știm suficient despre modul în care oamenii și computerele gândesc pentru a spune exact ceea ce au în comun și, atunci când ne lipsește aceste cunoștințe, pentru a utiliza comparația pentru a sugera teorii ale gândirii umane sau gândirii computerizate."[46]
Există o presupunere aproape universală în comunitatea științifică că o IA avansată, chiar dacă ar fi programată să aibă sau să adopte dimensiuni ale personalității umane (cum ar fi psihopatia) pentru a se face mai eficientă la anumite sarcini, de exemplu, sarcini care implică uciderea oamenilor, nu ar distruge omenirea din emoțiile umane precum „răzbunarea” sau „furia”. Acest lucru se datorează faptului că se presupune că o IA avansată nu ar fi conștientă[47] sau ar avea testosteron;[48] ignoră faptul că planificatorii militari consideră o superinteligență conștientă ca „Sfântul Graal” al războiului interstatal.[49] Dezbaterea academică este, în schimb, între o parte care se îngrijorează dacă IA ar putea distruge umanitatea ca o acțiune incidentală în cursul progresului către obiectivele sale finale; și o altă parte care crede că IA nu ar distruge deloc umanitatea. Unii sceptici acuză susținătorii antropomorfismului pentru că ei cred că o IA puternică ar dori în mod natural puterea; susținătorii acuză unii sceptici de antropomorfism pentru că cred că o IA puternică ar aprecia în mod natural normele etice umane.[7][50]
Alte surse de risc
Competiția
În 2014, filosoful Nick Bostrom a afirmat că o concurență extremă între diferite echipe poate crea condiții prin care crearea unei IA puternice are ca rezultat scăpări în măsurile pripite de siguranță și un conflict potențial violent.[51] Pentru a aborda acest risc, citând colaborarea științifică anterioară (CERN, Proiectul genomului uman și Stația Spațială Internațională), Bostrom a recomandat colaborarea și adoptarea altruistă globală a unui principiu al binelui comun: „Superinteligența ar trebui dezvoltată numai în beneficiul tuturor oamenilor și în slujba idealurilor etice larg împărtășite”.:254 Bostrom a teoretizat că o colaborare la crearea unei inteligențe generale artificiale ar oferi multiple beneficii, inclusiv reducerea precipitării economice, sporind astfel investițiile în siguranță; evitarea conflictelor violente (războaie), facilitarea partajării soluțiilor la problema controlului și distribuirea mai echitabilă a beneficiilor.:253 Proiectul Brain Initiative al Statelor Unite a fost lansat în 2014, la fel ca și Human Brain Project al Uniunii Europene; China Brain Project a fost lansat în 2016.
Înarmarea inteligenței artificiale
Unele surse susțin că înarmarea continuă a inteligenței artificiale ar putea constitui un risc catastrofal.[52][53] Riscul este de fapt triplu, primul risc având potențial implicații geopolitice, iar celelalte două au cu siguranță implicații geopolitice.
O superinteligență înarmată conștientă ar afecta supremația tehnologică militară actuală a Statelor Unite și ar transforma războiul; prin urmare, este foarte de dorit pentru planificarea militară strategică și războiul interstatal.[49][53] „A Next Generation Artificial Intelligence Development Plan for Development” (2017) al Consiliului de Stat al Chinei vizează IA în termeni strategici din punct de vedere geopolitic și urmărește o strategie de „fuziune militar-civilă” pentru a se baza pe avantajul primului motor al Chinei în dezvoltarea IA pentru a stabili supremația tehnologică până în 2030 [54] în timp ce președintele rus Vladimir Putin a declarat că „oricine va deveni lider în această sferă va deveni conducătorul lumii”.[55] James Barrat, realizator de documentare și autor al Our Final Invention, spune într-un interviu pentru revista Smithsonian: „Imaginați-vă: în doar un deceniu, o jumătate de duzină de companii și națiuni lansează computere care rivalizează sau depășesc inteligența umană. Imaginați-vă ce se întâmplă atunci când aceste computere devin experți în programarea computerelor inteligente. În curând vom împărți planeta cu mașini de mii sau milioane de ori mai inteligente decât suntem noi. Și, în tot acest timp, fiecare generație a acestei tehnologii va fi armată. Nereglementat, va fi catastrofal."[56]
AGI malefică prin design
Se teoretizează că AGI malefică ar putea fi creată prin proiectare, de exemplu de către o armată, un guvern, un sociopat sau o corporație, pentru a beneficia de, controla sau subjuga anumite grupuri de oameni, ca în cazul criminalității cibernetice.[57][58]:166 Alternativ, AGI răuvoitoare („IA malefică”) ar putea alege ca obiectiv creșterea suferinței umane, de exemplu pentru acei oameni care nu au ajutat-o în timpul fazei de explozie a informațiilor.[59]:158
Opiniile variază atât dacă și când inteligența artificială generală va apărea. La o extremă, pionierul IA Herbert A. Simon a prezis următoarele în 1965: „mașinile vor fi capabile, în termen de douăzeci de ani, să facă orice lucru pe care un om îl poate face”. [62] La cealaltă extremă, roboticianul Alan Winfield susține că prăpastia dintre calculul modern și inteligența artificială la nivel uman este la fel de mare ca prăpastia dintre zborul spațial actual și zborul spațial mai repede ca lumina.[63] Optimismul conform căruia AGI este fezabilă crește și scade și poate a avut o reapariție în anii 2010. Patru sondaje efectuate în 2012 și 2013 au sugerat că presupunerea medie a experților pentru momentul în care va apare AGI a fost 2040-2050, în funcție de sondaj.[64][65]
Scepticii care cred că este imposibil ca AGI să apară în curând, tind să susțină că exprimarea îngrijorării cu privire la riscul existențial nu este utilă, deoarece ar putea distrage oamenii de la îngrijorări mai imediate cu privire la impactul AGI, din cauza temerilor că ar putea duce la o reglementare a guvernului sau ar face mai dificilă asigurarea finanțării pentru cercetarea IA sau pentru că ar putea da cercetării IA o reputație proastă. Unii cercetători, cum ar fi Oren Etzioni, caută agresiv să înăbușe îngrijorarea cu privire la riscul existențial din partea IA, spunând că „[Elon Musk] ne-a contestat într-un limbaj foarte puternic spunând că dezlănțuim demonul, și astfel suntem răspunzători”.[66]
În 2014, revista Slate a lui Adam Elkus a argumentat că IA este la fel de inteligentă ca un copil mic și numai atunci când vine vorba de anumite sarcini. Majoritatea roboticienilor încă încearcă să obțină o mână de robot care să ridice o minge sau facă un robot să alerge fără să cadă. Elkus continuă să argumenteze că analogia invocării demonului de către Musk poate fi dăunătoare, deoarece ar putea duce la „reduceri dure” a bugetelor de cercetare a IA.[67]
Fundația pentru Tehnologia Informației și Inovare (Information Technology and Innovation Foundation, ITIF), un grup de reflecție de la Washington, DC, a acordat Premiul Luddite Anual „alarmiștilor care promovează o apocalipsă a inteligenței artificiale”; președintele său, Robert D. Atkinson, s-a plâns că Musk, Hawking și experții IA spun că IA este cea mai mare amenințare existențială pentru umanitate. Atkinson a declarat: „Nu este un mesaj foarte câștigător dacă doriți să obțineți finanțare a IA de la Congres”.[68][69][70]Nature nu a fost întru totul de acord cu ITIF într-un editorial din aprilie 2016, fiind de acord cu Musk, Hawking și Russell și concluzionând: „Este crucial ca progresul în tehnologie să fie egalat cu cercetări solide, bine finanțate, pentru a anticipa scenariile pe care le-ar putea aduce." [71] Într-un editorial din Washington Post din 2015, cercetătorul Murray Shanahan a declarat că este puțin probabil ca IA la nivel uman să apară „în curând”, dar că „timpul pentru a începe să ne gândim la consecințe este acum”.[72]
Perspective
Teza conform căreia IA ar putea prezenta un risc existențial provoacă o gamă largă de reacții în cadrul comunității științifice, precum și publicului larg. Cu toate acestea, multe dintre punctele de vedere opuse împărtășesc un punct comun.
Participanții la conferința Beneficial AI 2017 a Future of Life Institute,[34] sunt de acord în principiu că „Nu există consens, ar trebui să evităm presupuneri puternice cu privire la limite superioare pentru viitoarele capabilități de IA" și "IA avansată ar putea reprezenta o schimbare profundă în istoria vieții pe Pământ și ar trebui să fie planificate și gestionate cu grijă și resurse proporționale." [73][74] Susținătorii siguranței IA, cum ar fi Bostrom și Tegmark, au criticat utilizarea de către mass-media a „acelor imagini cu Terminatorul ” pentru a ilustra preocupările privind siguranța IA: „invit toate părțile să practice răbdarea și reținerea și să se angajeze cât mai mult posibil în dialog și colaborare directă. " [75]
Dimpotrivă, mulți sceptici sunt de acord că cercetarea continuă a implicațiilor inteligenței generale artificiale este valoroasă. Scepticul Martin Ford „crede că pare înțelept să aplicăm ceva asemănător cu faimoasa „doctrină 1 la sută” a lui Dick Cheney în spectrul inteligenței artificiale avansate: șansele apariției sale, cel puțin în viitorul previzibil, pot fi foarte mici - dar implicațiile sunt atât de dramatice încât ar trebui luate în serios "; [76] în mod similar, The Economist, altfel sceptic, a afirmat în 2014 că „implicațiile introducerii unei a doua specii inteligente pe Pământ sunt suficient de mari pentru a merita o gândire profundă, chiar dacă perspectiva pare îndepărtată”.[31]
Un sondaj prin e-mail din 2017 printre cercetătorii cu publicații la conferințele despre învățare automată a mașinilor NIPS și ICML din 2015 le-a cerut să evalueze îngrijorările lui Stuart J. Russell cu privire la riscul AI. Dintre respondenți, 5% au spus că este „printre cele mai importante probleme din domeniu”, 34% au spus că este „o problemă importantă”, iar 31% au spus că este „moderat importantă”, în timp ce 19% au spus că „nu este important ”și 11% au spus că „nu este deloc o problemă reală”.[77]
^Turchin, Alexey; Denkenberger, David (). „Classification of global catastrophic risks connected with artificial intelligence”. AI & Society. 35 (1): 147–163. doi:10.1007/s00146-018-0845-5. ISSN0951-5666.
^Russell, Stuart J.; Norvig, Peter (). „Section 26.3: The Ethics and Risks of Developing Artificial Intelligence”. Artificial Intelligence: A Modern Approach. Upper Saddle River, N.J.: Prentice Hall. ISBN978-0137903955. Similarly, Marvin Minsky once suggested that an AI program designed to solve the Riemann Hypothesis might end up taking over all the resources of Earth to build more powerful supercomputers to help achieve its goal.
^Barrat, James (). Our final invention : artificial intelligence and the end of the human era (ed. First). New York: St. Martin's Press. ISBN9780312622374. In the bio, playfully written in the third person, Good summarized his life’s milestones, including a probably never before seen account of his work at Bletchley Park with Turing. But here’s what he wrote in 1998 about the first superintelligence, and his late-in-the-game U-turn: [The paper] 'Speculations Concerning the First Ultra-intelligent Machine' (1965) . . . began: 'The survival of man depends on the early construction of an ultra-intelligent machine.' Those were his [Good’s] words during the Cold War, and he now suspects that 'survival' should be replaced by 'extinction.' He thinks that, because of international competition, we cannot prevent the machines from taking over. He thinks we are lemmings. He said also that 'probably Man will construct the deus ex machina in his own image.'
^Yampolskiy, Roman V. (). „Utility function security in artificially intelligent agents”. Journal of Experimental & Theoretical Artificial Intelligence. 26 (3): 373–389. doi:10.1080/0952813X.2014.895114. Nothing precludes sufficiently smart self-improving systems from optimising their reward mechanisms in order to optimisetheir current-goal achievement and in the process making a mistake leading to corruption of their reward functions.
^Bostrom, Nick, 1973- author., Superintelligence : paths, dangers, strategies, ISBN978-1-5012-2774-5, OCLC1061147095Mentenanță CS1: Nume multiple: lista autorilor (link)
^ abMax Tegmark (). Life 3.0: Being Human in the Age of Artificial Intelligence (ed. 1st). Mainstreaming AI Safety: Knopf. ISBN9780451485076.
^Elliott, E. W. (). „Physics of the Future: How Science Will Shape Human Destiny and Our Daily Lives by the Year 2100, by Michio Kaku”. Issues in Science and Technology. 27 (4): 90.
^Kaku, Michio (). Physics of the future: how science will shape human destiny and our daily lives by the year 2100. New York: Doubleday. ISBN978-0-385-53080-4. I personally believe that the most likely path is that we will build robots to be benevolent and friendly
^Yudkowsky, E. (2011, August). Complex value systems in friendly AI. In International Conference on Artificial General Intelligence (pp. 388-393). Springer, Berlin, Heidelberg.
^Waser, Mark. "Rational Universal Benevolence: Simpler, Safer, and Wiser Than 'Friendly AI'." Artificial General Intelligence. Springer Berlin Heidelberg, 2011. 153-162. "Terminal-goaled intelligences are short-lived but mono-maniacally dangerous and a correct basis for concern if anyone is smart enough to program high-intelligence and unwise enough to want a paperclip-maximizer."
^Koebler, Jason (). „Will Superintelligent AI Ignore Humans Instead of Destroying Us?”. Vice Magazine. Accesat în . This artificial intelligence is not a basically nice creature that has a strong drive for paperclips, which, so long as it's satisfied by being able to make lots of paperclips somewhere else, is then able to interact with you in a relaxed and carefree fashion where it can be nice with you," Yudkowsky said. "Imagine a time machine that sends backward in time information about which choice always leads to the maximum number of paperclips in the future, and this choice is then output—that's what a paperclip maximizer is.
^ abScornavacchi, Matthew (). Superintelligence, Humans, and War(PDF). Norfolk, Virginia: National Defense University, Joint Forces Staff College. Arhivat din original(PDF) la . Accesat în .
^Bostrom, Nick, 1973- author., Superintelligence : paths, dangers, strategies, ISBN978-1-5012-2774-5, OCLC1061147095Mentenanță CS1: Nume multiple: lista autorilor (link)
^Cave, Stephen; ÓhÉigeartaigh, Seán S. (). „An AI Race for Strategic Advantage”. Proceedings of the 2018 AAAI/ACM Conference on AI, Ethics, and Society - AIES '18. New York, New York, USA: ACM Press: 36–40. doi:10.1145/3278721.3278780. ISBN978-1-4503-6012-8.
^Cave, Stephen; ÓhÉigeartaigh, Seán S. (). „An AI Race for Strategic Advantage”. Proceedings of the 2018 AAAI/ACM Conference on AI, Ethics, and Society - AIES '18. New York, New York, USA: ACM Press: 2. doi:10.1145/3278721.3278780. ISBN978-1-4503-6012-8.
^Pistono, Federico Yampolskiy, Roman V. (). Unethical Research: How to Create a Malevolent Artificial Intelligence. OCLC1106238048.Mentenanță CS1: Nume multiple: lista autorilor (link)
^Haney, Brian Seamus (). „The Perils & Promises of Artificial General Intelligence”. SSRN Working Paper Series. doi:10.2139/ssrn.3261254. ISSN1556-5068.
^Turchin, Alexey; Denkenberger, David (). „Classification of global catastrophic risks connected with artificial intelligence”. AI & Society. 35 (1): 147–163. doi:10.1007/s00146-018-0845-5. ISSN0951-5666.
^Müller, V. C., & Bostrom, N. (2016). Future progress in artificial intelligence: A survey of expert opinion. In Fundamental issues of artificial intelligence (pp. 555-572). Springer, Cham.
^Bostrom, Nick (). „New Epilogue to the Paperback Edition”. Superintelligence: Paths, Dangers, Strategies (ed. Paperback).
^Martin Ford (). „Chapter 9: Super-intelligence and the Singularity”. Rise of the Robots: Technology and the Threat of a Jobless Future. ISBN9780465059997.
^Grace. „When Will AI Exceed Human Performance? Evidence from AI Experts”.|arxiv= necesar (ajutor)
