Управление возможностями ИИ

Управление возможностями ИИ
Изображение

Управление возможностями искусственного интеллекта — ограничения и контроль искусственного интеллекта (ИИ) различными средствами.

В области разработки искусственного интеллекта существуют предложения по ограничению их возможностей, чтобы уменьшить опасность, которую они могут представлять. Однако контроль возможностей становится менее эффективным по мере того, как ИИ становятся более интеллектуальными, а его способность использовать недостатки в системах управления увеличивается, что может привести к экзистенциальному риску от ИИ[англ.]. Поэтому оксфордский философ Ник Бостром и другие рекомендуют некоторые методы контроля[1].

Мотивация

Предполагается, что некоторые гипотетические интеллектуальные технологии, например «начальный ИИ», могут сделать себя быстрее и умнее, изменив свой исходный код. Эти улучшения сделают возможными дальнейшие изменения, которые, в свою очередь, сделают возможными дальнейшие итерационные улучшения и так далее, что может привести к внезапной технологической сингулярности[2].

Неограниченный сверхразумный ИИ в теории может предпринять действия, приводящие к вымиранию человечества[3]. Например, — гипотеза Римана, безобидной математической гипотезы, могла бы решить попытаться превратить планету в гигантский суперкомпьютер, единственной целью которого является выполнение дополнительных математических вычислений (см. также максимизатор скрепки)[4].

Ещё одна серьёзная проблема для контроля заключается в том, что нейронные сети изначально крайне не интерпретируемы[5]. Это затрудняет обнаружение любого нежелательного поведения, поскольку модель итеративно самообучается. Достижения в области интерпретируемого искусственного интеллекта могут облегчить эту трудность[6].

Замедление и отключение

Один из возможных способов предотвратить вредные последствия — дать создателям возможность легко отключать любое неподобающее поведение ИИ с помощью специального выключателя. Однако для достижения поставленной цели у таких ИИ будет стимул запускать свои копии на других компьютерах. Эта проблема была формализована как эксперимент между человеком и ИИ, в которой ИИ может выбрать, отключить ли свой выключатель; а затем, если выключатель все ещё включен, человек может выбрать, нажимать его или нет. такие эксперименты должны гарантировать, что ИИ интерпретирует человеческий выбор как важную часть в своих намеченных целях[7] :208.

Однако существует мнение, что ИИ может научиться становиться безразличным к тому, нажат ли выключатель. В более широком смысле, ИИ будут действовать так, как будто выключатель никогда не может быть нажат, и поэтому могут не составить план на случай непредвиденных обстоятельств, чтобы организовать плавное завершение работы[8][9].

Оракул

Оракул — это гипотетический ИИ, созданный для ответов на вопросы и лишённый возможности достигать каких-либо целей или подцелей, связанных с изменением мира за пределами его ограниченной среды[10][11][12][13][7] :163. В своей книге «Совместимость с людьми» исследователь ИИ Стюарт Дж. Рассел утверждает, что оракул станет его ответом на сценарий, в котором, до сверхразума осталось всего десятилетие[7] :162–163. Его аргументация состоит в том, что оракул, будучи проще сверхразума общего назначения, будет иметь больше шансов успешно контролироваться при таких ограничениях.

Оракул может рассказать людям, как успешно создать сильный ИИ, и, возможно, дать ответы на сложные моральные и философские проблемы. Однако оракулы могут разделять многие проблемы связанные со сверхразумом общего назначения. У оракула будет стимул покинуть свою контролируемую среду, чтобы он мог получить больше вычислительных ресурсов и потенциально контролировать, какие вопросы ему задают[7] :162. Оракулы могут быть неправдивыми, возможно, лгущими, чтобы продвигать скрытые планы. Чтобы смягчить это, предлагается создать несколько оракулов, каждый из которых немного отличается, и сравнить их ответы, чтобы достичь консенсуса[14].

ИИ в коробке

ИИ в коробке — это один из предлагаемый методов управления возможностями, при котором ИИ запускается в изолированной компьютерной системе с сильно ограниченными входными и выходными каналами — например, только текстовыми каналами и без подключения к Интернету. это снижает риск того, что ИИ отнимет контроль над окружающей средой у своих создателей, при этом позволяя ИИ выводить решения для большинства технических проблем[15].

Хотя этот способ снижает возможность ИИ вести себя нежелательно, он также снижает его полезность «коробка» имеет меньшие затраты при применении к системе, которая может не требовать взаимодействия с внешним миром[15][12].

Вероятность недостатков безопасности, связанных с аппаратными или программными уязвимостями, можно снизить, формально проверив конструкцию ИИ. Нарушения безопасности могут произойти, если ИИ сможет манипулировать над наблюдателями, и добиться того чтобы они его выпустили[16].

Пути ограничений

Физический

Сверхразумный ИИ с доступом в Интернет может взломать другие компьютерные системы и скопировать себя, как компьютерный вирус, через своё оборудование, например, манипулируя его охлаждающими вентиляторами[17]. Дополнительная защита, совершенно ненужная для потенциальных вирусов, но, возможно, полезная для сверхразумного ИИ, могла бы состоять в том, чтобы поместить компьютер в клетку Фарадея; в противном случае он мог бы передавать радиосигналы на местные радиоприемники, перетасовывая электроны в своих внутренних цепях по соответствующим схемам. Основным недостатком реализации физического сдерживания является то, что оно снижает функциональность ИИ[18].

Социальная инженерия

Даже непринужденная беседа с человеком может позволить сверхразумному ИИ использовать психологические уловки, начиная от дружбы и заканчивая шантажом, чтобы убедить другого человека, правдиво или лживо, что в интересах привратника согласиться. чтобы предоставить ИИ больший доступ к внешнему миру. ИИ может предложить человеку рецепт идеального здоровья, бессмертия или чего-то ещё, что, он больше всего желает; в качестве альтернативы ИИ может угрожать человеку и его семье ужасными вещами, как только он неизбежно сбежит. Одна из стратегий, позволяющих ограничить ИИ, состоит в том, чтобы позволить ему отвечать на узкие вопросы с несколькими вариантами ответов, ответы на которые принесут пользу человеческой науке или медицине, но в противном случае запретить любое другое общение с ИИ или наблюдение за ним. Однако на техническом уровне никакая система не может быть полностью изолирована и при этом оставаться полезной: даже если наблюдатели воздерживаются от того, чтобы позволить ИИ общаться, а вместо этого просто запускают его с целью наблюдения за его внутренней динамикой.

Эксперимент с коробкой ИИ

Эксперимент с коробкой ИИ — это неформальный эксперимент, разработанный Элиезером Юдковски, чтобы попытаться продемонстрировать, что достаточно продвинутый искусственный интеллект может либо убедить, либо, возможно, даже обмануть или принудить человека добровольно «отпустить» его, используя только текстовую коммуникацию.

Эксперимент с коробкой ИИ включает в себя моделирование общения между ИИ и человеком, чтобы увидеть, можно ли «освободить» ИИ. Другой человек в эксперименте играет «привратника», человека, способного «выпустить» ИИ. Они общаются только через текстовый интерфейс, и эксперимент заканчивается, когда либо привратник выпускает ИИ, либо когда истекает отведенное время в два часа[19].

Юдковски говорит, что, несмотря на то, что он обладает человеческим, а не сверхчеловеческим интеллектом, ему дважды удавалось убедить Привратника, чисто с помощью аргументации, выпустить его из коробки[20]. В соответствии с правилами эксперимента[19] он не раскрыл свою тактику принуждения ИИ.

Общие ограничения

Блокировка ИИ может быть дополнена другими методами формирования возможностей ИИ, предоставлением стимулов для ИИ, замедлением роста ИИ или внедрением «растяжек», которые автоматически отключают ИИ, если каким-либо образом обнаруживается попытка нарушения. Однако чем более интеллектуальной становится система, тем больше вероятность того, что система сможет избежать даже самых лучших методов управления возможностями[21][22]. Чтобы решить общую проблему управления для сверхразумного ИИ и избежать технологической сингулярности.

Все предложения физической коробки, естественно, зависят от нашего понимания законов физики; если бы сверхразум мог вывести законы физики с которыми мы в настоящее время ничего не знаем, то эти законы могли бы предоставить средства избегания, которые люди не могли предвидеть и, следовательно, не могли бы ничего противопоставить. В более широком смысле, в отличие от обычной компьютерной безопасности, попытка ограничить сверхразумный ИИ была бы рискованной по своей сути, поскольку не могло быть уверенности в том, что план ограничения ИИ сработает. Кроме того, научный прогресс в коробке был бы принципиально затруднен, потому что не было бы возможности проверить гипотезы коробки против опасного сверхразума, пока такая сущность не существует, и к этому моменту последствия провала такого эксперимента могут быть катастрофическими[17].

В фантастике

В фильме 2014 года Ex Machina ИИ с женским гуманоидным телом участвует в социальном эксперименте с мужчиной в замкнутом здании, выступающем в роли «коробки ИИ». Несмотря на то, что за ним наблюдает организатор эксперимента, ИИ удается сбежать, грамотно манипулируя своим партнером чтобы помочь ему.

См. также

Примечания

  1. Bostrom, Nick. Superintelligence: Paths, Dangers, Strategies. — First. — Oxford : Oxford University Press, 2014. — ISBN 9780199678112.
  2. I.J. Good, «Speculations Concerning the First Ultraintelligent Machine»], Advances in Computers, vol. 6, 1965.
  3. Vincent C. Müller and Nick Bostrom. «Future progress in artificial intelligence: A survey of expert opinion» in Fundamental Issues of Artificial Intelligence. Springer 553—571 (2016).
  4. Russell, Stuart J. Section 26.3: The Ethics and Risks of Developing Artificial Intelligence // Artificial Intelligence: A Modern Approach / Stuart J. Russell, Peter Norvig. — Upper Saddle River, N.J. : Prentice Hall, 2003. — «"Similarly, Marvin Minsky once suggested that an AI program designed to solve the Riemann Hypothesis might end up taking over all the resources of Earth to build more powerful supercomputers to help achieve its goal."». — ISBN 978-0137903955.
  5. Montavon, Grégoire (2018). "Methods for interpreting and understanding deep neural networks". Digital Signal Processing (англ.). 73: 1—15. doi:10.1016/j.dsp.2017.10.011. ISSN 1051-2004.
  6. Yampolskiy, Roman V. «Unexplainability and Incomprehensibility of AI.» Journal of Artificial Intelligence and Consciousness 7.02 (2020): 277—291.
  7. 1 2 3 4 Russell, Stuart. Human Compatible: Artificial Intelligence and the Problem of Control. — United States : Viking, October 8, 2019. — ISBN 978-0-525-55861-3.
  8. Orseau, Laurent (25 June 2016). "Safely interruptible agents". Proceedings of the Thirty-Second Conference on Uncertainty in Artificial Intelligence. AUAI Press: 557—566. ISBN 9780996643115. Архивировано 15 февраля 2021. Дата обращения: 7 февраля 2021.
  9. Soares, Nate, et al. «Corrigibility.» Workshops at the Twenty-Ninth AAAI Conference on Artificial Intelligence. 2015.
  10. Bostrom, Nick. Chapter 10: Oracles, genies, sovereigns, tools (page 145) // Superintelligence: Paths, Dangers, Strategies. — Oxford : Oxford University Press, 2014. — «An oracle is a question-answering system. It might accept questions in a natural language and present its answers as text. An oracle that accepts only yes/no questions could output its best guess with a single bit, or perhaps with a few extra bits to represent its degree of confidence. An oracle that accepts open-ended questions would need some metric with which to rank possible truthful answers in terms of their informativeness or appropriateness. In either case, building an oracle that has a fully domain-general ability to answer natural language questions is an AI-complete problem. If one could do that, one could probably also build an AI that has a decent ability to understand human intentions as well as human words.». — ISBN 9780199678112.
  11. Armstrong, Stuart (2012). "Thinking Inside the Box: Controlling and Using an Oracle AI". Minds and Machines. 22 (4): 299—324. doi:10.1007/s11023-012-9282-2.
  12. 1 2 Yampolskiy, Roman (2012). "Leakproofing the singularity: Artificial intelligence confinement problem" (PDF). Journal of Consciousness Studies. 19 (1—2): 194—214. Архивировано (PDF) 7 июля 2023. Дата обращения: 16 июля 2023.
  13. , ISBN 978-3-642-31673-9 http://link.springer.com/10.1007/978-3-642-31674-6_25 {{citation}}: |title= пропущен или пуст (справка)
  14. Bostrom, Nick. Chapter 10: Oracles, genies, sovereigns, tools (page 147) // Superintelligence: Paths, Dangers, Strategies. — Oxford : Oxford University Press, 2014. — «For example, consider the risk that an oracle will answer questions not in a maximally truthful way but in such a way as to subtly manipulate us into promoting its own hidden agenda. One way to slightly mitigate this threat could be to create multiple oracles, each with a slightly different code and a slightly different information base. A simple mechanism could then compare the answers given by the different oracles and only present them for human viewing if all the answers agree.». — ISBN 9780199678112.
  15. 1 2 Yampolskiy, Roman V. (2013), What to Do with the Singularity Paradox?, Berlin, Heidelberg: Springer Berlin Heidelberg, ISBN 978-3-642-31673-9
  16. Chalmers, David (2010). "The singularity: A philosophical analysis". Journal of Consciousness Studies. 17 (9—10): 7—65.
  17. 1 2 Hsu, Jeremy (2012-03-01). "Control dangerous AI before it controls us, one expert says". NBC News. Архивировано 2 февраля 2016. Дата обращения: 29 января 2016.
  18. Bostrom, Nick. Chapter 9: The Control Problem: boxing methods // Superintelligence: the coming machine intelligence revolution. — Oxford : Oxford University Press, 2013. — ISBN 9780199678112.
  19. 1 2 The AI-Box Experiment: – Eliezer S. Yudkowsky. www.yudkowsky.net. Дата обращения: 19 сентября 2022. Архивировано 18 сентября 2022 года.
  20. Armstrong, Stuart (6 June 2012). "Thinking Inside the Box: Controlling and Using an Oracle AI". Minds and Machines. 22 (4): 299—324. CiteSeerX 10.1.1.396.799. doi:10.1007/s11023-012-9282-2.
  21. Vinge, Vernor (1993). "The coming technological singularity: How to survive in the post-human era". Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace: 11—22. Bibcode:1993vise.nasa...11V. I argue that confinement is intrinsically impractical. For the case of physical confinement: Imagine yourself confined to your house with only limited data access to the outside, to your masters. If those masters thought at a rate -- say -- one million times slower than you, there is little doubt that over a period of years (your time) you could come up with 'helpful advice' that would incidentally set you free.
  22. Yampolskiy, Roman (2012). "Leakproofing the Singularity Artificial Intelligence Confinement Problem". Journal of Consciousness Studies: 194—214.

Ссылки

Read other articles:

يفتقر محتوى هذه المقالة إلى الاستشهاد بمصادر. فضلاً، ساهم في تطوير هذه المقالة من خلال إضافة مصادر موثوق بها. أي معلومات غير موثقة يمكن التشكيك بها وإزالتها. (ديسمبر 2018)   لمعانٍ أخرى، طالع الوثن (توضيح). الوثن  - قرية -  تقسيم إداري البلد  اليمن المحافظة محافظ

 

Ugo Cavallero Información personalNacimiento 20 de septiembre de 1880 Casale Monferrato (Italia) Fallecimiento 13 de septiembre de 1943 o 12 de septiembre de 1943 Frascati (Italia) Causa de muerte Herida por arma de fuego EducaciónEducado en Academia militar de Módena Información profesionalOcupación Político y oficial militar Años activo desde 1900Cargos ocupados Senador del Reino de Italia Rama militar Regia Aeronautica Rango militar General Conflictos Guerra ítalo-turca, Primera Gu...

 

Triton BallparkLocation3432 Voigt Drive, La Jolla, CaliforniaOwnerUC San DiegoOperatorUC San DiegoCapacity1,200 (Baseball)Field sizeLeft Field - 330 ft Center Field - 400 ft Right Field - 330 ftSurfaceGrassTenantsUC San Diego Tritons (NCAA Big West) (2000-present) Triton Ballpark is the home field of the University of California San Diego Tritons college baseball team. Stadium history Triton Ballpark in 2012 Triton Ballpark is a 500-seat baseball park located on the eastern half of the UC San...

Jayson TatumTatum dengan Boston Celtics pada tahun 2018No. 0 – Boston CelticsPosisiSmall forward / power forwardLigaNBAInformasi pribadiLahir3 Maret 1998 (umur 25)St. Louis, Missouri, A.S.Tinggi6 ft 8 in (2,03 m)Berat210 pon (95 kg)Informasi karierSekolah menengah atasChaminade(Creve Coeur, Missouri)Perguruan tinggiDuke (2016–2017)Draf NBA2017 / Babak: 1 / Urutan pemilihan: ke-3 secara keseluruhanDipilih oleh Boston CelticsKarier bermain2017–sekaran...

 

Artikel ini sebatang kara, artinya tidak ada artikel lain yang memiliki pranala balik ke halaman ini.Bantulah menambah pranala ke artikel ini dari artikel yang berhubungan atau coba peralatan pencari pranala.Tag ini diberikan pada November 2022. Gilson do AmaralInformasi pribadiTanggal lahir 4 April 1984 (umur 39)Tempat lahir BrasilPosisi bermain PenyerangKarier senior*Tahun Tim Tampil (Gol)2008-2011 Júbilo Iwata 2013-2014 Ventforet Kofu 2015- FC Gifu * Penampilan dan gol di klub senior...

 

Ця стаття не містить посилань на джерела. Ви можете допомогти поліпшити цю статтю, додавши посилання на надійні (авторитетні) джерела. Матеріал без джерел може бути піддано сумніву та вилучено. (жовтень 2019) На цій сторінці зібрано посилання на художні та документальні ф...

Taluka in Maharashtra India Shrivardhan taluka is a taluka in Raigad district in the Indian state of Maharashtra.[1][2] The town of Shrivardhan is the administrative headquarters of this taluka. Raigad district As of August 2015, there were 8 subdivisions, 15 talukas, 1,970 villages, 60 revenue circles and 350 sazzas within Raigad district, the talukas being: Alibag, Karjat, Khalapur, Mahad, Mangaon, Mhasala, Murud, Panvel, Pen, Poladpur, Roha, Shrivardhan, Sudhagad Pali, Tala...

 

Egyptian alchemist and author Cleopatra the alchemistImaginative depiction of Cleopatra the Alchemist from Mylius' 1618 Basilica philosophica Seals of the PhilosophersBornc. 3rd centuryEraAncient philosophyRegionWestern philosophyMain interestsAlchemyNotable ideasAlembic Cleopatra the Alchemist (Greek: Κλεοπάτρα; fl. c. 3rd century AD) was a Greek alchemist, author, and philosopher. She experimented with practical alchemy but is also credited as one of the four female alc...

 

Stadium in Tampa, Florida Raymond James StadiumRay JayThe New SombreroRaymond James Stadium in 2021TampaLocation in FloridaShow map of FloridaTampaLocation in the United StatesShow map of the United StatesAddress4201 North Dale Mabry HighwayTampa, FloridaUnited StatesCoordinates27°58′33″N 82°30′12″W / 27.97583°N 82.50333°W / 27.97583; -82.50333Owner Hillsborough CountyOperatorTampa Sports AuthorityExecutive suites195Capacity69,218 (2022–present) (expandab...

الدوري الإسكتلندي الممتاز 2014–15 تفاصيل الموسم الدوري الاسكتلندي الممتاز  النسخة 118  البلد المملكة المتحدة  التاريخ بداية:9 أغسطس 2014  نهاية:24 مايو 2015  المنظم اتحاد اسكتلندا لكرة القدم  البطل نادي سلتيك  مباريات ملعوبة 228   عدد المشاركين 12   الدوري الاسك...

 

Artikel ini bukan mengenai kayu pinus. Pinus Pinus palustris Klasifikasi ilmiah Kerajaan: Plantae Divisi: Pinophyta Kelas: Pinopsida Ordo: Pinales Famili: Pinaceae Genus: PinusL. Spesies Lihat teks Persebaran Pinus pinus adalah sebuah genus pohon konifer atau semak dalam famili Pinaceae (Suku Pinus-pinusan)[1]. Tanaman didalam genus ini juga dikenal dengan nama Pohon Pinus. Daftar Spesies Subgenus Strobus (sin. Haploxylon) Bagian Strobus Sub Bagian Cembra Pinus cembra L. Pinus koraien...

 

Gundemaro Piniolis Morte 1012 Muniadona Descendência Ver Descendência Pai Piniolo Gundemaris Mãe Jimena Velaz Gundemaro Piniolis (em castelhano: Gundemaro Pinioliz; m.1012)[1] foi um rico-homem e poderoso magnata no Reino de Leão, genearca duma das mais importante linhagens asturianas da Idade Média e bisavô de Jimena Dias, a esposa de Rodrigo Dias de Vivar O Cid. Relações familiares e biografia Edifícios prerrománicos da Catedral de Oviedo Foi filho de Piniolo Gundemaris e de Jimen...

Castle in Fife, Scotland, UK There was also a 19th century Castle Wemyss in Renfrewshire, Scotland. seen from the foreshore. Wemyss Castle (pronounced [weems]) is situated in Wemyss on the sea cliffs between the villages of East Wemyss and West Wemyss in Fife, Scotland. Wemyss Castle is considered to be a multi-period building, and today's castle includes many elements from former periods such as the 15th century tower and the 19th century stables and gatepiers. History Accounts date the cons...

 

NanaPoster rilis promosionalNama lainBefore, Now & ThenSutradara Kamila Andini Produser Ifa Isfansyah Suma Adiwinata Gita Fara Ditulis oleh Kamila Andini Ahda Imran SkenarioKamila AndiniAhda ImranBerdasarkanJais Darga Namakuoleh Ahda ImranPemeran Happy Salma Laura Basuki Arswendy Bening Swara Ibnu Jamil Penata musikRicky LionardiSinematograferBatara GoemparPenyuntingAkhmad Fesdi AnggoroPerusahaanproduksi Fourcolours Films Titimangsa Foundation DistributorWild BunchTanggal rili...

 

9th episode of the 4th season of Adventure Time Princess Monster WifeAdventure Time episodeEpisode no.Season 4Episode 9Directed by Larry Leichliter[a] Adam Muto[b] Nick Jennings[c] Written bySomvilay XayaphoneBert YounStory byPatrick McHaleKent OsbornePendleton WardFeatured musicSomething Special by Patrick McHaleProduction code1008-088[1]Original air dateMay 28, 2012 (2012-05-28)Running time11 minutesEpisode chronology ← PreviousHug ...

澳門教區Dioecesis MacaonensisDiocesano de Macau(葡萄牙文)教会管区天主教會 聖母聖誕主教座堂,在澳門俗稱「大堂」基本信息教座位置 澳門管轄範圍 澳門禮儀形式羅馬禮主保聖人錫耶納聖加大肋納聖方濟各沙勿略所屬教省(直屬聖座)創設時間1576年1月23日主教座堂聖母誕辰主教座堂首長職銜教區主教教務首長教宗方濟各[1]教區主教李斌生主教副主教鍾志堅神父榮...

 

Artikel ini sebatang kara, artinya tidak ada artikel lain yang memiliki pranala balik ke halaman ini.Bantulah menambah pranala ke artikel ini dari artikel yang berhubungan atau coba peralatan pencari pranala.Tag ini diberikan pada Januari 2023. Apostasia wallichii Klasifikasi ilmiah Kerajaan: Plantae (tanpa takson): Angiosperms (tanpa takson): Monocots Ordo: Asparagales Famili: Orchidaceae Subfamili: Apostasioideae Genus: Apostasia Spesies: A. wallichii Nama binomial Apostasia wallichiiR...

 

キタラを持つアポローン 西洋音楽年表(せいようおんがくねんぴょう)では、西洋音楽に関する主な出来事の年表を提示する。なお、各時代ごとで区分した解説については、音楽史を参照のこと。 6世紀以前 「古代の音楽」、「古代西洋音楽」、および「古代ギリシアの音楽」を参照 7世紀 ca.650年 - スコラ・カントルム(聖歌の演奏/教育機関)がローマに創設。 8世紀 ...

First Pacific Company Limited第一太平有限公司JenisPerusahaan yang terdaftarKode emitenSEHK: 142 Merah Muda OTC: FPAFYIndustriManajemen InvestasiDidirikan1981PendiriSudono SalimKantorpusatHong Kong, TiongkokWilayah operasiHong Kong, Filipina, IndonesiaTokohkunciAnthony Salim (Ketua)Manuel V. Pangilinan (Managing Director, CEO)PemilikAnthony Salim (45,1%)Situs webFirst Pacific Company Limited First Pacific Company Limited (Hanzi: 第一太平有限公司) (SEHK: 142, Merah Muda...

 

Кузина Беттафр. La Cousine Bette Автор Оноре де Бальзак Язык оригинала французский Дата первой публикации 1846 Цикл Человеческая комедия Предыдущее Кузен Понс «Кузи́на Бе́тта» — роман Оноре де Бальзака (1799—1850), написанный им в 1846; входит в цикл его произведений, именуемый «...

 

Strategi Solo vs Squad di Free Fire: Cara Menang Mudah!