אסכולת הסיכון הקיומי ("x-risk") טוענת שהמין האנושי שולט כיום במינים אחרים בזכות העובדה שלמוח האדם יש יכולות ייחודיות שאין אצל בעלי חיים אחרים. ולכן, אם הבינה המלאכותית תהפוך ליותר אינטליגנטית מבני האדם, זה עלול להפוך לקשה עד בלתי אפשרי עבור בני אדם לשלוט בה. כשם שגורלה של גורילת ההרים תלוי ברצון הטוב האנושי, כך עשוי גורלה של האנושות להיות תלוי בפעולות של אינטליגנציית-על עתידית.
ההסתברות של תרחיש מסוג זה נתונה לוויכוח נרחב, והיא תלויה בחלקה בתרחישים שונים להתקדמות עתידית במדעי המחשב. דאגות לגבי אינטליגנציית-על הושמעו על ידי מדעני מחשבים ומנכ"לים טכנולוגיים מובילים דוגמת ג'פרי הינטון,[4]יהושע בנג'יו,[5]אלן טיורינג, אילון מאסק,[6] ואף מנכ"ל OpenAI, סם אלטמן.[7]
בשנת 2022, סקר שנערך בקרב חוקרי בינה מלאכותית מצא שחלק גדול מהחוקרים מאמינים שיש סיכוי של 10 אחוזים או יותר שחוסר היכולת שלנו לשלוט בבינה מלאכותית יגרום לאסון קיומי.[8][9]
שני מקורות לדאגה הם הבעיות של שליטה בבינה המלאכותית והיושרה שלה (הערכים על בסיסם היא עובדת).
חוקרים רבים מאמינים כי אינטליגנציית-על תתנגד לניסיונות לכבות אותה או לשנות את מטרותיה (כיוון שאירוע כזה ימנע ממנה להשיג את מטרותיה הנוכחיות) וכי יהיה קשה מאוד ליישר את אינטליגנציית העל עם מלוא ערכי האנושות.[10][11] לעומת זאת, ישנם מדענים שהטילו בכך ספק כמו מדען המחשב יאן לקון שטוען שלמכונות סופר אינטליגנטיות לא יהיה רצון לשימור עצמי.[12]
מקור שלישי לדאגה הוא ש"סינגולריות טכנולוגית" פתאומית עלולה להפתיע את הגזע האנושי.
לשם המחשה, אם הדור הראשון של תוכנת מחשב שמסוגלת להתאים באופן נרחב את האפקטיביות של חוקר בינה מלאכותית יכול לשכתב את האלגוריתמים שלו ולהכפיל את המהירות או היכולות שלו בתוך שישה חודשים, אזי פיתוח תוכנת הדור השני צפויה להימשך שלושה חודשים. בתרחיש זה הזמן של כל דור ממשיך להצטמצם, והמערכת עוברת מספר חסר תקדים של דורות של שיפור במרווח זמן קצר, תוך קפיצה מביצועים תת-אנושיים בתחומים רבים לביצועים על-אנושיים כמעט בכל התחומים.[13] מבחינה אמפירית, דוגמאות כמו AlphaZero בתחום של Go מראות שמערכות בינה מלאכותית יכולות לפעמים להתקדם מיכולת צרה ברמת האדם ליכולת על-אנושית במהירות רבה.[14]
היסטוריה
אחד המחברים המוקדמים ביותר שהביע דאגה רצינית שמכונות מתקדמות ביותר עלולות להוות סיכונים קיומיים לאנושות היה הסופר סמואל באטלר, שכתב את הדברים הבאים במאמרו "דרווין בין המכונות" משנת 1863:[15]
התוצאה היא פשוט שאלה של זמן, אבל יבוא הזמן שבו המכונות יחזיקו את העליונות האמיתית על העולם ותושביו, זה מה שאף אדם בעל מוח פילוסופי אמיתי לא יכול להטיל ספק לרגע.
בשנת 1951, מדען המחשב אלן טיורינג כתב מאמר בשם "Intelligent Machinery, A Heretical Theory", בו הציע כי אינטליגנציות כלליות מלאכותיות ככל הנראה "ישתלטו" על העולם ככל שהן יהיו אינטליגנטיות יותר מבני אדם:
"הבה נניח כעת, לצורך הטיעון, שמכונות [תבוניות] הן אפשרות אמיתית, ונבחן את ההשלכות של בנייתן... לא תהיה שאלה שהמכונות ימותו, והן יוכלו לשוחח זה עם זה כדי לחדד את שכלם. לכן בשלב מסוים עלינו לצפות שהמכונות ישתלטו, באופן דומה למוזכר ב"אריון" של סמואל באטלר."
בשנת 1965, IJ Good הקים את הרעיון הידוע כיום כ"סינגולריות טכנולוגית"; הוא גם הצהיר שהסיכונים לא מוערכים:[16]
"בואו נגדיר מכונה אולטרה-אינטליגנטית כמכונה שיכולה לעלות בהרבה על כל הפעילויות האינטלקטואליות של כל אדם, חכם ככל שיהיה. מכיוון שתכנון מכונות הוא אחת מהפעילויות האינטלקטואליות הללו, מכונה אינטליגנטית במיוחד יכולה לתכנן מכונות טובות עוד יותר; אז יהיה ללא ספק 'סינגולריות טכנולוגית', והאינטליגנציה של האדם תישאר הרחק מאחור. לפיכך, המכונה האולטרה-אינטליגנטית הראשונה היא ההמצאה האחרונה שהאדם צריך לעשות אי פעם, בתנאי שהמכונה צייתנית מספיק כדי לומר לנו איך לשמור עליה בשליטה. זה מוזר שנקודה זו מובאת לעיתים רחוקות כל כך מחוץ למדע בדיוני. לפעמים כדאי להתייחס למדע בדיוני ברצינות.
הצהרות מזדמנות של חוקרים כמו מרווין מינסקי ו-IJ Good עצמו[17] הביעו חששות פילוסופיים כי אינטליגנציית-על יכולה לתפוס שליטה, אך לא הכילו קריאה לפעולה. בשנת 2000, מדען המחשב ומייסד סאןביל ג'וי כתב חיבור רב השפעה, " למה העתיד לא צריך אותנו", שזיהה רובוטים סופר-חכמים כסכנת היי-טק להישרדות האדם, לצד ננוטכנולוגיה.[18]
בשנת 2009, מומחים השתתפו בכנס פרטי שאירח האגודה לקידום הבינה המלאכותית (AAAI) כדי לדון בשאלה האם מחשבים ורובוטים יוכלו לרכוש כל סוג של אוטונומיה, ועד כמה יכולות אלו להוות איום או סכנה. הם ציינו שחלק מהרובוטים רכשו צורות שונות של חצי אוטונומיה, כולל היכולת למצוא מקורות כוח בעצמם ויכולת לבחור באופן עצמאי מטרות לתקוף עם נשק. הם גם ציינו כי כמה וירוסי מחשב יכולים להתחמק מהחיסול והשיגו "אינטליגנציה של מקקים". הם הגיעו למסקנה שמודעות עצמית כפי שמתוארת במדע בדיוני היא כנראה לא סבירה, אבל היו עוד סכנות ומלכודות פוטנציאליות. "הניו יורק טיימס" סיכם את השקפת הוועידה כ"אנחנו רחוקים מהאל (Hal), המחשב שהשתלט על החללית ב-2001: אודיסיאה בחלל".[19]
ניק בוסטרום פרסם את "Superintelligence" ב-2014, שהציג את טיעוניו לפיהם אינטליגנציית-על מהווה איום קיומי.[20] עד 2015, אנשי ציבור כמו הפיזיקאים סטיבן הוקינג וחתן פרס נובל פרנק וילצ'ק, מדעני המחשב סטיוארט ג'יי ראסל ורומן ימפולסקי, והיזמים אילון מאסק וביל גייטס הביעו דאגה מהסיכונים של אינטליגנציית-על.[21][22][23][24] באפריל 2016, "Nature" הזהיר: "מכונות ורובוטים שעולים על בני אדם בכל v,junho יכולים להשתפר בעצמם מעבר לשליטתנו – ואולי האינטרסים שלהם לא יתאימו לאינטרסים שלנו".[25] בשנת 2020, בריאן כריסטיאן פרסם את "The Alignment Problem", אשר פירטה את ההיסטוריה של ההתקדמות בערכי בינה מלאכותית עד אותה תקופה.[26][27]
במרץ 2023, דמויות מפתח בבינה מלאכותית, כמו אילון מאסק, חתמו על מכתב ממכון עתיד החיים הקוראות להפסיק את ההכשרה המתקדמת בבינה מלאכותית עד שניתן יהיה להסדיר אותה כראוי.[28] במאי 2023, המרכז לבטיחות בינה מלאכותית פרסם הצהרה חתומה על ידי מומחים רבים לבטיחות בינה מלאכותית ולסיכון הקיומי של בינה מלאכותית, שבה נכתב: "הפחתת סכנת ההכחדה מבינה מלאכותית צריכה להיות בראש סדר העדיפויות העולמי לצד סיכונים אחרים בקנה מידה חברתי כגון מגפות ומלחמה גרעינית."[29][30]
טיעון כללי
שלושת הקשיים
בספר "בינה מלאכותית: גישה מודרנית", ספר לימוד לתואר ראשון בבינה מלאכותית,[31][32] נכתב כי אינטליגנציית-על "עשויה להביא לקץ המין האנושי". הוא קובע: "כמעט לכל טכנולוגיה יש פוטנציאל לגרום לנזק בידיים הלא נכונות, אבל עם [אינטליגנציית-על] יש לנו את הבעיה החדשה שהידיים הלא נכונות עשויות להיות שייכות לטכנולוגיה עצמה". גם אם למעצבי המערכת יש כוונות טובות, שני קשיים משותפים גם למערכות מחשב בינה מלאכותית וגם למערכות שאינן בינה מלאכותית:
הטמעת המערכת עשויה להכיל באגים שלא הבחינו בהם בתחילה שיובילו לתוצאות קטסטרופליות. דוגמה למקרים כאלו הביאו מתיקון באגים בחלל: למרות הידיעה שקשה לתקן באגים חלל לאחר השיגור, מהנדסים היסטורית לא הצליחו למנוע את התרחשות באגים.[14][33]
לא משנה כמה זמן מושקע בתכנון טרום-פריסה, בסופו של דבר כמעט תמיד יש מצב של תוצאה לא מכוונת בפעם הראשונה שהיא נתקלת בתרחיש חדש. לדוגמה, טאי של מיקרוסופט התנהג בצורה לא פוגענית במהלך בדיקות טרום-פריסה, אך בתוך זמן קצר החל להתנהג בפוגענות כאשר הוא יצר אינטראקציה עם משתמשים אמיתיים.
מערכות בינה מלאכותית מוסיפות באופן ייחודי בעיה שלישית: שאפילו בהינתן דרישות "נכונות", הטמעה ללא באגים והתנהגות ראשונית טובה, יכולת הלמידה הדינמית של מערכות הבינה המלאכותית עשויות לגרום לה להתפתח לכדי מערכת עם התנהגות לא מכוונת, אפילו בלי תרחישים חיצוניים ובלתי צפויים. בינה מלאכותית עשויה לשבש ניסיון לעצב דור חדש של עצמה וליצור בטעות או בכוונה בינה מלאכותית חדשה יותר, חזקה יותר, שאינה שומרת עוד על ערכי המוסר התואמים לאדם שתוכנתו מראש ב-AI המקורי. כדי שבינה מלאכותית המשתפרת מעצמה תהיה בטוחה לחלוטין, היא לא רק תצטרך להיות נטולת באגים, אלא היא תצטרך להיות מסוגלת לעצב מערכות עוקבות שהן גם נטולות באגים.[34]
כל שלושת הקשיים הללו הופכים לקטסטרופות ולא למטרדים בכל תרחיש שבו אינטליגנציית-העל תעריך שבני אדם ינסו לכבות אותו ותנסה למנוע ניסיונות כאלה לפעמים במחירים כבדים: תרחיש זה קיבל את השם "תפנית בוגדנית".[35]
המכתב הפתוח לשנת 2015 על בינה מלאכותית (אנ') ציין את ההתקדמות הגדולה בתחום הבינה המלאכותית ואת הפוטנציאל של בינה מלאכותית להטבות או עלויות אדירות לטווח ארוך:
"ההתקדמות במחקר בינה מלאכותית ממקדת עם הזמן את המחקר לא רק בהפיכת AI לבעל יותר יכולות, אלא גם במיקסום התועלת החברתית של AI. שיקולים כאלה הניעו את הפאנל הנשיאותי של AAAI 2008-09 בנושא עתיד הבינה המלאכותית ופרויקטים אחרים על השפעות בינה מלאכותית, ומהווים הרחבה משמעותית של תחום הבינה המלאכותית עצמו, שעד כה התמקד בעיקר בטכניקות שהן נייטרליות ביחס למטרה. אנו ממליצים על מחקר מורחב שמטרתו להבטיח שמערכות בינה מלאכותית יותר ויותר יכולות להיות חזקות ומועילות: מערכות הבינה המלאכותית שלנו חייבות לעשות מה שאנחנו רוצים שהן יעשו."
החתומים כללו את נשיא ה-AAAI, תומאס דיטריך, אריק הורביץ, בארט סלמן, פרנצ'סקה רוסי, יאן לקון, ומייסדי Vicarious ו-Google DeepMind.[36]
הטיעון של בוסטרום
מכונה סופר אינטליגנטית תהיה זרה לבני אדם כמו תהליכי חשיבה אנושיים לג'וקים, טוען בוסטרום.[37] ייתכן שלמכונה כזו אין את טובת האנושות בראש; זה לא מובן מאליו שזה בכלל ידאג לרווחת האדם. אם AI סופר אינטליגנטי אפשרי, ואם ייתכן שמטרותיה של אינטליגנציית-על יתנגשו עם ערכים אנושיים בסיסיים, אז AI מהווה סכנת הכחדה אנושית. "אינטליגנציית-על" (מערכת העולה על היכולות של בני אדם בכל תחומי העניין) יכולה לתמרן בני אדם בכל פעם שמטרותיה מתנגשות עם מטרות אנושיות; לכן, אלא אם אינטליגנציית העל תחליט לאפשר לאנושות להתקיים בדו קיום, אינטליגנציה העל הראשונה שתיווצר תביא ללא מוצא להכחדה אנושית.[37]
סטיבן הוקינג טען שאין חוק פיזיקלי המונע מחלקיקים להיות מאורגנים בדרכים המבצעות חישובים מתקדמים אפילו יותר מהסדרים של חלקיקים במוח האנושי; לכן, אינטליגנציית-על אפשרית פיזית. בנוסף לשיפורים אלגוריתמיים פוטנציאליים על מוח אנושי, מוח דיגיטלי יכול להיות גדול ומהיר יותר בסדרי גודל ממוח אנושי, שגודלו הוגבל על ידי האבולוציה להיות קטן מספיק כדי להיכנס לתעלת לידה. הוקינג מזהיר כי הופעת אינטליגנציית-על עשויה להפתיע את המין האנושי, במיוחד אם מתרחש סינגולריות טכנולוגית.
על פי "אסכולת החשיבה של בוסטרום", תרחיש "סינגולריות טכנולוגית" היפותטי אחד פועל כדלקמן: בינה מלאכותית זוכה ליכולת ברמת מומחה במשימות מפתח מסוימות של הנדסת תוכנה. (ייתכן שהוא חסר בתחילה יכולות אנושיות או על-אנושיות בתחומים אחרים שאינם רלוונטיים ישירות להנדסה.) בשל יכולתו לשפר באופן רקורסיבי את האלגוריתמים של עצמו, הבינה המלאכותית הופכת במהירות לעל-אנושית; כשם שמומחים אנושיים יכולים בסופו של דבר להתגבר באופן יצירתי על "תשואות הולכות ופוחתות" על ידי פריסת יכולות אנושיות שונות לחדשנות, כך גם בינה מלאכותית ברמת מומחה יכולה להשתמש ביכולות בסגנון אנושי או ביכולות הספציפיות לבינה מלאכותית משלה כדי להניע פריצות דרך יצירתיות חדשות.[38] אז ה-AI הוא בעל אינטליגנציה העולה בהרבה על זו של המוחות האנושיים המבריקים והמחוננים ביותר כמעט בכל תחום רלוונטי, כולל יצירתיות מדעית, תכנון אסטרטגי וכישורים חברתיים.[37]
אסכולת ה-x-risk מאמינה שכמעט כל AI, לא משנה היעד המתוכנת שלו, יעדיף באופן רציונלי להיות במצב שבו אף אחד אחר לא יכול לכבות אותו ללא הסכמתו: אינטליגנציית-על תגדיר את השימור העצמי כמטרת משנה ברגע שהיא תבין שהיא לא יכולה להשיג את מטרתה אם היא נסגרת.[39][40]
כל חמלה כלפי בני אדם ששיתוף הפעולה שלהם אינו נחוץ עוד תהיה נעדרת ב-AI, אלא אם כן מתוכנת מראש. ל-AI סופר-אינטליגנטי לא יהיה דחף טבעי לסייע לבני אדם, מאותה סיבה שלבני אדם אין רצון טבעי לסייע למערכות AI שאינן מועילות להם יותר. (אנלוגיה נוספת שנותנים תומכי תאוריה זו, היא שניתן לראות כיום שלבני אדם יש מעט רצון טבעי לצאת מגדרם כדי לסייע לווירוסים, טרמיטים או אפילו גורילות).
לפיכך, מסכמת אסכולת ה-x risk, סביר להניח שמתישהו סינגולריות טכנולוגית תתפוס את האנושות לא מוכנה, ועלולה לגרום להכחדה של המין האנושי או גורל דומה.
תרחישים אפשריים
כמה חוקרים הציעו תרחישים היפותטיים כדי להמחיש כמה מהחששות שלהם.
ב-"Superintelligence", ניק בוסטרום מביע דאגה שגם אם ציר הזמן עבור אינטליגנציית-על יתברר כצפוי, ייתכן שהחוקרים לא ינקטו אמצעי זהירות בטיחותיים מספקים, בין השאר משום ש"יכול להיות שכאשר מטומטם, חכם יותר זה בסדר; אך כאשר חכם נהיה חכם יותר. זה מסוכן מאוד". בוסטרום מציע תרחיש שבו, במשך עשרות שנים, הבינה המלאכותית הופכת לאט לאט לחזקה יותר. זה יתחיל עם אירועים קטנים ו"מקריים" כמו תאונות מזדמנות – אוטובוס ללא נהג סוטה לנתיב המתקרב, או מזל"ט צבאי יורה לתוך קהל תמים. פעילים רבים יקראו לפיקוח ורגולציה הדוקים יותר, וחלקם אף יחזו קטסטרופה מתקרבת. אבל ככל שההתפתחות נמשכת, יוכח שהפעילים טועים. ככל שבינה מלאכותית של רכב נהיית חכמה יותר, היא גורמת לפחות תאונות; ככל שרובוטים צבאיים משיגים מיקוד מדויק יותר, הם גורמים פחות נזק אגבי. בהתבסס על הנתונים, חוקרים מסיקים בטעות שככל שה-AI חכם יותר, כך הוא בטוח יותר. "ולכן אנחנו נכנסים באומץ – לתוך הסכינים המסתחררים", כאשר הבינה המלאכותית הסופר אינטליגנטית לוקחת ברגע אחד "תפנית בוגדנית" ומנצלת יתרון אסטרטגי מכריע. זה נגמר.
בספר "Life 3.0" של Max Tegmark משנת 2017, "צוות אומגה" של תאגיד יוצר בינה מלאכותית חזקה במיוחד המסוגלת לשפר באופן מתון את קוד המקור שלו במספר תחומים. לאחר נקודה מסוימת הצוות בוחר להמעיט בפומבי ביכולת ה-AI, על מנת למנוע רגולציה או החרמה של הפרויקט. ליתר ביטחון, הצוות שומר את ה-AI בקופסה שבה הוא לרוב אינו מסוגל לתקשר עם העולם החיצון, ומשתמש בו כדי להרוויח כסף, באמצעים מגוונים. בשלב הבא, הצוות מטיל על הבינה המלאכותית לעצב צבא של עיתונאים ופרשנים אזרחיים בדויים, כדי להשיג השפעה פוליטית כדי להשתמש בו "לטובה" ולמנוע מלחמות. הצוות עומד בפני סיכונים שה-AI יכול לנסות לברוח על ידי הכנסת "דלתות אחוריות" למערכות שהוא מעצב, על ידי מסרים נסתרים בתוכן המיוצר שלו, או על ידי שימוש בהבנה הגוברת של הבינה המלאכותית את ההתנהגות האנושית עד שתשכנע מישהו שישחרר אותה מהקופסה. הצוות גם עומד בפני סיכונים שהחלטתו לאגור את הפרויקט תעכב את הפרויקט מספיק זמן כדי שפרויקט אחר יעקוף אותו.[41][42]
הפיזיקאי מיצ'יו קאקו, שעוסק בסיכוני הבינה המלאכותית, מציג תוצאה חיובית דטרמיניסטית. ב"הפיזיקה של העתיד" הוא טוען ש"זה ייקח עשורים רבים עד שרובוטים יעלו" במעלה קנה התודעה, ושבינתיים תאגידים כמו הנסון רובוטיקה יצליחו ליצור רובוטים ש"מסוגל לאהוב ולהרוויח מקום במשפחה האנושית המורחבת".[43][44]
השתלטות בינה מלאכותית היא תרחיש היפותטי שבו בינה מלאכותית (AI) הופכת לצורת האינטליגנציה הדומיננטית על פני כדור הארץ, כאשר תוכנות מחשב או רובוטים לוקחים למעשה את השליטה על כדור הארץ מהמין האנושי. תרחישים אפשריים כוללים החלפה של כל כוח העבודה האנושי, השתלטות על ידי בינה מלאכותית סופר אינטליגנטית, והרעיון הפופולרי של מרד רובוטים. סיפורים על השתלטות בינה מלאכותית פופולריים מאוד בכל המדע הבדיוני. כמה אישי ציבור, כמו סטיבן הוקינג ואילון מאסק, דגלו במחקר של אמצעי זהירות כדי להבטיח שמכונות סופר-אינטליגנטיות עתידיות יישארו תחת שליטה אנושית.
טיעונים אנתרופומורפיים
טיעונים אנתרופומורפיים מניחים שככל שמכונות הופכות אינטליגנטיות יותר, הן יתחילו להציג תכונות אנושיות רבות, כמו מוסר או צמא לכוח. אף על פי שתרחישים אנתרופומורפיים נפוצים בסיפורת, הם נדחים על ידי רוב החוקרים הכותבים על הסיכון הקיומי של בינה מלאכותית.[13] במקום זאת, AI מעוצב כסוכנים אינטליגנטים.
הוויכוח האקדמי הוא בין צד אחד שדואג אם בינה מלאכותית עשויה להרוס את האנושות לבין צד אחר שמאמין שבינה מלאכותית לא תהרוס את האנושות כלל. שני הצדדים טענו שהתחזיות של האחרים לגבי התנהגות בינה מלאכותית לא הגיוני. הספקנים מאשימים את התומכים באנתרופומורפיזם בכך שהם מאמינים ש-AGI ירצה באופן טבעי כוח; התומכים מאשימים כמה ספקנים באנתרופומורפיזם שהם מאמינים ש-AGI יעריך באופן טבעי נורמות אתיות אנושיות.[45]
הפסיכולוג האבולוציוני סטיבן פינקר, טוען כי "דיסטופיות AI מקרינות פסיכולוגיה אלפא-זכרית פרוכית על מושג האינטליגנציה. הם מניחים שרובוטים אינטליגנטיים על-אנושיים יפתחו מטרות כמו הדחת אדוניהם או השתלטות על העולם"; במקום זאת הוא טוען ש"בינה מלאכותית תתפתח באופן טבעי לפי קווים נשיים: בעל יכולת מלאה לפתור בעיות, אך ללא רצון להכחיד חפים מפשע או לשלוט בציוויליזציה."[46] מנהל מחקר בינה מלאכותית של פייסבוק, יאן לקון, קובע כי "לבני אדם יש כל מיני דחפים שגורמים להם לעשות דברים רעים אחד לשני, כמו אינסטינקט השימור העצמי... הכוננים האלה מתוכנתים לתוך המוח שלנו אבל אין שום סיבה לבנות רובוטים שיש להם את אותו סוג של כוננים".[47]
למרות הבדלים אחרים, האסכולה שמאמינה בסיכון מסכימה עם פינקר ש-AI מתקדם לא יהרוס את האנושות מתוך רגשות אנושיים כמו "נקמה" או "כעס", ששאלות תודעה אינן רלוונטיות להערכת סיכונים,[48] וכי למערכות מחשב אין בדרך כלל מקבילה חישובית לטסטוסטרון.[49] הם חושבים שהתנהגויות של חיפוש כוח או שימור עצמי מופיעות ב-AI כדרך להשיג את מטרותיה האמיתיות, על פי הרעיון של התכנסות אינסטרומנטלית.
הגדרה של "אינטליגנציה"
לטענת בוסטרום, מחוץ לתחום הבינה המלאכותית, נעשה שימוש ב"אינטליגנציה" לעיתים קרובות באופן המקשר לחוכמה מוסרית או קבלה של צורות מקבילות של חשיבה מוסרית. בקיצוניות, אם המוסר הוא חלק מההגדרה של אינטליגנציה, אז בהגדרה מכונה על-אינטליגנטית תתנהג בצורה מוסרית. עם זאת, רוב המחקרים של "בינה מלאכותית" מתמקדים במקום זאת ביצירת אלגוריתמים ש"מייעלים", באופן אמפירי, את השגת כל מטרה שהחוקרים הנתונים ציינו.
כדי להימנע מאנתרופומורפיזם או מהמטען של המילה "אינטליגנציה", ניתן להתייחס לבינה מלאכותית מתקדמת כ"תהליך אופטימיזציה" בלתי-אישי, הנוקט בקפדנות את כל הפעולות שהיא שופטת כבעלת הסבירות הגבוהה ביותר להגשים את מטרותיה (אולי מסובכות ומרומזות). דרך נוספת להמשגה של בינה מלאכותית מתקדמת היא לדמיין מכונת זמן ששולחת לאחור בזמן מידע לגביו בחירה תמיד מובילה למקסום פונקציית המטרה שלה; בחירה זו מופקת לאחר מכן, ללא קשר לחששות אתיים זרים.[50][51]
מקורות סיכון
בעיית יישור בינה מלאכותית
סביר להניח שהרגולציה של AGI תושפע מהרגולציה של AI עם נשק או צבאי, כלומר, מרוץ החימוש של AI, שהוא נושא שמתעורר. נכון לעכשיו, אף על פי שהאו"ם מתקדם לקראת רגולציה של AI, היכולת המוסדית והחוקית שלו לנהל סיכון קיומי של AGI מוגבלת הרבה יותר.[52] כל צורה של רגולציה בינלאומית תושפע ככל הנראה מההתפתחויות במדיניות הפנים של מדינות מובילות כלפי בינה מלאכותית צבאית, שבארצות הברית נמצאת בסמכותה של הוועדה לביטחון לאומי לבינה מלאכותית,[53][54] ומהלכים בינלאומיים להסדרת מרוץ חימוש בינה מלאכותית. רגולציה של מחקר ב-AGI מתמקדת בתפקיד של מועצות ביקורת, עידוד מחקר בנושא AI בטוח, אפשרות של התקדמות טכנולוגית דיפרנציאלית (עדיפות אסטרטגיות להפחתת סיכונים על פני אסטרטגיות נטילת סיכונים בפיתוח AI), או ביצוע מעקב המוני בינלאומי לביצוע זרועות AGI לִשְׁלוֹט.[55] רגולציה של AGIs מודע מתמקדת בשילובם עם החברה האנושית הקיימת וניתנת לחלוקה לשיקולים של מעמדם המשפטי ושל זכויותיהם המוסריות.[55] בקרת נשק בינה מלאכותית תדרוש ככל הנראה מיסוד של נורמות בינלאומיות חדשות המגולמות במפרטים טכניים יעילים בשילוב עם ניטור פעיל ודיפלומטיה לא פורמלית על ידי קהילות מומחים, יחד עם תהליך אימות משפטי ופוליטי.[56][57]
^Russell, Stuart, and Peter Norvig. "The ethics and risks of developing artificial intelligence." Artificial Intelligence: a Modern Approach 1152 (2009).
^Barrat, James (2013). Our final invention : artificial intelligence and the end of the human era (First ed.). New York: St. Martin's Press. ISBN9780312622374. In the bio, playfully written in the third person, Good summarized his life's milestones, including a probably never before seen account of his work at Bletchley Park with Turing. But here's what he wrote in 1998 about the first superintelligence, and his late-in-the-game U-turn: [The paper] 'Speculations Concerning the First Ultra-intelligent Machine' (1965) . . . began: 'The survival of man depends on the early construction of an ultra-intelligent machine.' Those were his [Good's] words during the Cold War, and he now suspects that 'survival' should be replaced by 'extinction.' He thinks that, because of international competition, we cannot prevent the machines from taking over. He thinks we are lemmings. He said also that 'probably Man will construct the deus ex machina in his own image.'
^Yampolskiy, Roman V. (8 באפריל 2014). "Utility function security in artificially intelligent agents". Journal of Experimental & Theoretical Artificial Intelligence. 26 (3): 373–389. doi:10.1080/0952813X.2014.895114. Nothing precludes sufficiently smart self-improving systems from optimising their reward mechanisms in order to optimisetheir current-goal achievement and in the process making a mistake leading to corruption of their reward functions.{{cite journal}}: (עזרה)
^Yampolskiy, Roman V. "Analysis of types of self-improving software." Artificial General Intelligence. Springer International Publishing, 2015. 384-393.
^Omohundro, S. M. (2008, February). The basic AI drives. In AGI (Vol. 171, pp. 483-492).
^Elliott, E. W. (2011). "Physics of the Future: How Science Will Shape Human Destiny and Our Daily Lives by the Year 2100, by Michio Kaku". Issues in Science and Technology. 27 (4): 90.
^Waser, Mark. "Rational Universal Benevolence: Simpler, Safer, and Wiser Than 'Friendly AI'." Artificial General Intelligence. Springer Berlin Heidelberg, 2011. 153-162. "Terminal-goaled intelligences are short-lived but mono-maniacally dangerous and a correct basis for concern if anyone is smart enough to program high-intelligence and unwise enough to want a paperclip-maximizer."
^Koebler, Jason (2 בפברואר 2016). "Will Superintelligent AI Ignore Humans Instead of Destroying Us?". Vice Magazine. ארכיון מ-30 בינואר 2016. נבדק ב-3 בפברואר 2016. This artificial intelligence is not a basically nice creature that has a strong drive for paperclips, which, so long as it's satisfied by being able to make lots of paperclips somewhere else, is then able to interact with you in a relaxed and carefree fashion where it can be nice with you," Yudkowsky said. "Imagine a time machine that sends backward in time information about which choice always leads to the maximum number of paperclips in the future, and this choice is then output—that's what a paperclip maximizer is.{{cite news}}: (עזרה)
^Maas, Matthijs M. (2019-02-06). "How viable is international arms control for military artificial intelligence? Three lessons from nuclear weapons of mass destruction". Contemporary Security Policy. 40 (3): 285–311. doi:10.1080/13523260.2019.1576464. ISSN1352-3260.
