Нейрокомп'ютер

Нейрокомп'ютер — пристрій переробки інформації на основі принципів роботи природних нейронних систем.^[1] Ці принципи були формалізовані, що дозволило говорити про теорії штучних нейронних мереж. Проблематика ж нейрокомп'ютерів полягає в побудові реальних фізичних пристроїв, що дозволить не просто моделювати штучні нейронні мережі на звичайному комп'ютері, але так змінити принципи роботи комп'ютера, що стане можливим говорити про те, що вони працюють відповідно до теорії штучних нейронних мереж.

Історія

Терміни нейрокібернетика, нейроінформатика, нейрокомп'ютери увійшли в науковий обіг нещодавно — в середині 1980-х років. Однак електронний і біологічний мозок постійно порівнювалися протягом всієї історії існування обчислювальної техніки. Знаменита книга Н. Вінера «Кібернетика» (1948)^[2] має підзаголовок «Управління і зв'язок в тварині і машині».

Першими нейрокомп'ютерами були перцептрони Розенблатта: Марк-1 (1958) і Тоберморі (1961—1967)^[3], а також Адалін, розроблений Уідроу^[en] і Хоффом (1960) на основі дельта-правила (формули Уідроу)^[4]. Адалін (адаптивний суматор, який навчається за формулою Уідроу) є стандартним елементом багатьох систем обробки сигналів і зв'язку.^[5] У цьому ж ряду перших нейрокомп'ютерів знаходиться програма «Кора», розроблена в 1961 році під керівництвом М. М. Бонгарда^[6].

Велику роль у розвитку нейрокомп'ютингу зіграла монографія Розенблатта (1958)^[7].

Ідея нейро-біоніки (створення технічних засобів на нейро-принципах) стала інтенсивно реалізовуватися на початку 1980-х рр. Імпульсом було наступне протиріччя: розміри елементарних деталей комп'ютерів зрівнялися з розмірами елементарних «перетворювачів інформації» в нервовій системі, було досягнуто швидкодію окремих електронних елементів в мільйони разів більше, ніж у біологічних систем, а ефективність вирішення завдань, особливо пов'язаних завдань орієнтування і прийняття рішень в природному середовищі, у живих систем наразі недосяжно вище.

Інший імпульс розвитку нейрокомп'ютерів дали теоретичні розробки 1980-х років на теорії нейронних мереж (мережі Хопфілда, мережі Кохонена, метод зворотного поширення помилки).

Основна ідея — конекціонізм

На відміну від цифрових систем, що представляють собою комбінації процесорних блоків і блоків пам'яті, нейропроцесори містять пам'ять, розподілену зв'язки між простими процесорами, які часто можуть бути описані як формальні нейрони або блоки з однотипних формальних нейронів. Тим самим основне навантаження на виконання конкретних функцій процесорами лягає на архітектуру системи, деталі якої в свою чергу визначаються міжнейронними зв'язками. Підхід, заснований на представленні як пам'яті даних, так і алгоритмів системою зв'язків (і їх вагами), називається конекціонізмом.

Три основних переваги нейрокомп'ютерів:

1. Всі алгоритми нейроінформатики високопаралельни, а це вже запорука високої швидкодії.
2. Нейросистеми можна легко зробити дуже стійкими до перешкод і руйнувань.
3. Стійкі і надійні нейросистеми можуть створюватися і з ненадійних елементів, що мають значний розкид параметрів.

Розробники нейрокомп'ютерів прагнуть об'єднати стійкість, продуктивність і паралелізм АВМ — аналогових обчислювальних машин — з універсальністю сучасних комп'ютерів.^[8]

Проблема ефективного паралелізму

На роль центральної проблеми, розв'язуваної всією нейроінформатикою і нейрокомп'ютингом, А. Горбань^[9] запропонував проблему ефективного паралелізму. Давно відомо, що продуктивність комп'ютера зростає набагато повільніше, ніж число процесорів. М. Мінський сформулював гіпотезу: продуктивність паралельної системи зростає (приблизно) пропорційно логарифму числа процесорів — це набагато повільніше, ніж лінійна функція (Гіпотеза Мінського).

Для подолання цього обмеження застосовується наступний підхід: для різних класів задач будуються максимально паралельні алгоритми рішення, які використовують яку-небудь абстрактну архітектуру (парадигму) дрібнозернистого паралелізму, а для конкретних паралельних комп'ютерів створюються засоби реалізації паралельних процесів заданої абстрактної архітектури. В результаті з'являється ефективний апарат виробництва паралельних програм.

Нейроінформатика постачає універсальні дрібнозернисті паралельні архітектури для вирішення різних класів завдань. Для конкретних завдань будується абстрактна нейромережева реалізація алгоритму рішення, яка потім реалізується на конкретних паралельних обчислювальних пристроях. Таким чином нейромережі дозволяють ефективно використовувати паралелізм.

Сучасні нейрокомп'ютери

Багаторічні зусилля багатьох дослідницьких груп призвели до того, що до теперішнього часу накопичено велику кількість різних «правил навчання» і архітектур нейронних мереж, їх апаратних реалізацій та прийомів використання нейронних мереж для рішення прикладних задач.

Ці інтелектуальні винаходи^[10] існують у вигляді «зоопарку» нейронних мереж. Кожна мережа із зоопарку має свою архітектуру, правило навчання і вирішує конкретний набір завдань. В останнє десятиліття докладаються серйозні зусилля для стандартизації структурних елементів і перетворень цього «зоопарку» в «технопарк»^[11]: кожна нейронна мережа з зоопарку реалізована на ідеальному універсальному нейрокомп'ютерів, має задану структуру.

Основні правила виділення функціональних компонентів ідеального нейрокомп'ютера (за Міркесу):

1. Відносна функціональна відособленість: кожен компонент має чіткий набір функцій. Його взаємодію з іншими компонентами може бути описано у вигляді невеликого числа запитів.
2. Можливість взаємозаміни різних реалізацій будь-якого компонента без зміни інших компонентів.

Поступово складається ринок нейрокомп'ютерів. Широко поширені різні високопаралельні нейро-прискорювачі^[12] (співпроцесори) для різних завдань. Моделей універсальних нейрокомп'ютерів на ринку мало почасти тому, що більшість з них реалізовані для спецвикористання. Прикладами нейрокомп'ютерів є нейрокомп'ютер Synapse (Siemens, Німеччина),^[13] процесор NeuroMatrix^[14]. Видається спеціалізований науково-технічний журнал «Нейрокомп'ютери: розробка, застосування»^[15]. Проводяться щорічні конференції з нейрокомп'ютерів^[16]. З технічної точки зору сьогоднішні нейрокомп'ютери — це обчислювальні системи з паралельними потоками однакових команд і множинним потоком даних (MSIMD-архітектура). Це одне з основних напрямків розвитку обчислювальних систем з масовим паралелізмом.

Штучна нейронна мережа може передаватися від (нейро)комп'ютера до (нейро)комп'ютера, так само як і комп'ютерна програма. Більше того, на її основі можуть бути створені спеціалізовані швидкодіючі аналогові пристрої. Виділяються кілька рівнів відчуження нейронної мережі від універсального (нейро)комп'ютера^[17]: від мережі, яка навчається на універсальному пристрої і використовує багаті можливості в маніпулюванні задачником, алгоритмами навчання і модифікації архітектури, до повного відчуження без можливостей навчання та модифікації, тільки функціонування навченої мережі.

Одним із способів підготовки нейронної мережі для передачі є її вербалізація: навчену нейронну мережу мінімізують із збереженням корисних навичок. Опис мінімізованої мережі компактніше і часто допускає зрозумілу інтерпретацію.

Новий поворот — «вологий продукт»

У нейрокомп'ютингу поступово дозріває новий напрямок, засноване на поєднанні біологічних нейронів з електронними елементами. За аналогією з Software (програмне забезпечення — «м'який товар») і Hardware (електронне апаратне забезпечення — «твердий продукт»), ці розробки отримали найменування Wetware (Wetware computer^[en]) — «вологий продукт».

В даний час вже існує технологія з'єднання біологічних нейронів з надмініатюрними польовими транзисторами з допомогою нанодротин.^[18] У розробках використовується сучасна нанотехнологія. У тому числі, для створення з'єднань між нейронами і електронними пристроями використовуються вуглецеві нанотрубки. ^[19]

Поширене також і інше визначення терміну «Wetware» — людський компонент у системах «людина-комп'ютер».

Застосування

1. Управління в реальному часі^[20][21], в тому числі:
   • літаками і ракетами^[22],
   • технологічними процесами безперервного виробництва (в энергетиці, металургії тощо)^[23],
   • гибридним двигунам автомобіля^[24],
   • пневмоциліндром^[25],
   • зварювальним апаратом^[26],
   • електропічкою^[27],
   • турбогенератором^[28].
2. Розпізнавня образів:
   • зображень^[29], облич^[30], букв та ієрогліфів, відбитків пальців у криминалистиці, мові, сигналів радару і сонару,
   • елементарних часток і фізичних процесів, що х ними відбуваються (експерименти на прискорювачаї або спостереження за космічними променями),
   • захворювань за симптомами (в медицині)^[31],
   • місцевостей, де варто шукати корисні копалини (в геології),
   • ознак небезпеки в системах безпеки,
   • властивостей хімічних з'єжнань за структурою (в хемоінформатиці)^[32]
3. Прогнозування у реальному часі:
   • погоди,
   • курсу акцій (та інших фінансових показників)^[33],
   • результатів лікування,
   • політичних подій (результатів выборів, міжднародних відносин тощо)^[34][35],
   • поведінка противника (реального або потенційного) у війні і в економічній конкуренції.
4. Оптимізація  — пошук найкращих варіантів:
   • при конструюванні технічних приладів,^[36]
   • при виборі економічної стратегії,
   • при підборі команди (від співробітників до спортсменів і учасників полярних експедицій),
   • при лікуванні.
5. Обробка сигналів при наявності великих шумів.
6. Протезування («розумні протези») і посилення природних функцій^[37], в тому числі — за рахунок прямого підключення нервової системи людини до комп'ютеру (Нейро-комп'ютерний інтерфейс).
7. Психодіагностика^[38][39][40]
8. Телекомуникаційне шахрайство, його знаходження і боротьба з допомогою нейромережевих технологій — ^[41] що є однією з найперспективніших технологій в області захисту інформації в телекомунікаційних мережах.
9. Інформаційна безпека^[42]

Література

• Neurocomputing, Elsevier ISSN 0925-2312
• Журнал «Нейрокомп'ютери: розробка, застосування», ИПРЖР Радіотехніка ISSN 1999-8554
• Аляутдінов М. А., Галушкин А. В., Казанцев П. А., Остапенко Р. П. Нейрокомп'ютери: від програмної апаратної реалізації. — М.: Гаряча лінія — Телеком, 2008. — 152 с. — ISBN 978-5-9912-0044-8.
• Горбань А. Н., Россиев Д. А., Нейронні мережі на персональному комп'ютері. — Новосибірськ: Наука, 1996. — 276 с. DOI: 10.13140/RG.2.1.4114.1600
• Нейрокомп'ютерна парадигма і суспільство. / Під ред. Ю. Ю. Петруніна. — М.: Видавництво Московського університету, 2012. — 304 с. — ISBN 978-5-211-06375-4.
• Чечкин А. В., Савельєв А. В. Нейрокомп'ютери в 2012 році: нова парадигма

Примітки

1. Дунин-Барковский В. Л., Нейрокибернетика, Нейроинформатика, Нейрокомпьютеры, В кн.: Нейроинформатика [Архівовано 7 червня 2009 у Wayback Machine.] / А. Н. Горбань, В. Л. Дунин-Барковский, А. Н. Кирдин и др. — Новосибирск: Наука. Сибирское предприятие РАН, 1998. — 296 с ISBN 5-02-031410-2
2. Винер Н., Кибернетика, или Управление и связь в животном и машине. / Пер. с англ. И. В. Соловьева и Г. Н. Поварова; Под ред. Г. Н. Поварова. — 2-е издание. — М.: Наука, 1983. — 344 с.
3. Neural networks-then and now
4. Королев Л.
5. Уидроу Б., Стирнс С., Адаптивная обработка сигналов. — М.: Радио и связь, 1989. — 440 c.
6. Бонгард М. М., Проблема узнавания М.: Физматгиз, 1967.
7. Rosenblatt, F. The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain.
8. Горбань А. Н. Нейрокомпьютер, или Аналоговый ренессанс, Мир ПК, 1994, № 10, 126—130.
9. Горбань А. Н., Кто мы, куда мы идем, как путь наш измерить? [Архівовано 14 серпня 2009 у Wayback Machine.], Пленарный доклад на открытии конференции Нейроинформатика-99, МИФИ, 20 января 1999. Журнальный вариант: Горбань А. Н., Нейроинформатика: кто мы, куда мы идем, как путь наш измерить // Вычислительные технологии. — М.: Машиностроение. — 2000. — № 4. — С. 10-14.
10. Савельев А. В., Нейрокомпьютеры в изобретениях // «Нейрокомпьютеры: разработка, применение». [Архівовано 11 вересня 2016 у Wayback Machine.], М. Радиотехника, 2004, № 2-3, с. 33-49.
11. Миркес Е. М., Нейрокомпьютер. Проект стандарта. — Новосибирск: Наука, 1999. — 337 с ISBN 5-02-031409-9 Другие копии онлайн: [1] [Архівовано 3 липня 2009 у Wayback Machine.]
12. Савельев А.
13. Шахнов В., Власов А., Кузнецов А., Нейрокомпьютеры — архитектура и реализация. Часть 1.
14. Процессор цифровой обработки сигналов Л1879ВМ1 (NM6403) [Архівовано 2016-10-12 у Wayback Machine.] НТЦ «Модуль»
15. Журнал «Нейрокомпьютеры: разработка, применение». [Архівовано 11 вересня 2016 у Wayback Machine.]
16. Савельев А.
17. Горбань А. Н. Обучение нейронных сетей, изд. СССР-США СП «Параграф», 1990, 160 с.
18. Patolsky F., Timko B.P., Yu G., Fang Y., Greytak A.B., Zheng G., and Lieber C.M. «Detection, Stimulation, and Inhibition of Neuronal Signals with High-Density Nanowire Transistor Arrays» : [англ.] // Science. — 25 August 2006. — No. 313, № 5790. — С. 1100—1104. — DOI:10.1126/science.1128640.
19. Mazzatenta A., Giugliano M., Campidelli S., Gambazzi L., Businaro L., Markram H., Prato M., and Ballerini L. «Interfacing Neurons with Carbon Nanotubes: Electrical Signal Transfer and Synaptic Stimulation in Cultured Brain Circuits» : [англ.] // The Journal of Neuroscience. — 27 June 2007. — № 27. — С. 6931-6936. — DOI:10.1523/JNEUROSCI.1051-07.2007.
20. Терехов В. А., Ефимов Д. В., Тюкин И. Ю. {{{Заголовок}}}. — ISBN 5-06-004094-1.
21. Тюкин И. Ю., Терехов В. А., Адаптация в нелинейных динамических системах, (Серия: Синергетика: от прошлого к будущему), Санкт-Петербург: ЛКИ, 2008. — 384 с.
22. Применение нейрокомпьютеров в ракетно-космической технике. Сборник статей. Ефимов В. В. (ред). — М.: Радиотехника, 2006. — 144 C.
23. Галушкин А. И. Применение нейрокомпьютеров в энергетических системах, М.: Научный центр нейрокомпьютеров, 1997.
24. Danil V. Prokhorov.
25. Змеу К. В., Марков Н. А., Шипитько И. А., Ноткин Б. С. Безмодельное прогнозирующее инверсное нейроуправление с регенерируемым эталонным переходным процессом // Интеллектуальные системы. — 2009. — № 3. — С. 109—117 (PDF). Архів оригіналу (PDF) за 27 вересня 2016. Процитовано 25 вересня 2016.
26. D'Emilia G., Marrab A., Natalea E. Use of neural networks for quick and accurate auto-tuning of PID controller // Robotics and Computer-Integrated Manufacturing. — 2007.
27. Dias F.M., Mota A.M. Comparison between Different Control Strategies using Neural Networks // 9th Mediterranean Conference on Control and Automation.
28. Venayagamoorthy G.K., Harley R.G., Wunsch D.C. Implementation of Adaptive Critic-based Neurocontrollers for Turbogenerators in a Multimachine Power System, IEEE Transactions on Neural Networks. — 2003 (PDF). Архів оригіналу (PDF) за 12 червня 2010. Процитовано 25 вересня 2016.
29. Ruaro M.E., Bonifazi P., and Torre V., Toward the Neurocomputer: Image Processing and Pattern Recognition With Neuronal Cultures [Архівовано 6 травня 2006 у Wayback Machine.], IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING, VOL. 52, NO. 3, MARCH 2005, 371—383.
30. Micheli-Tzanakou, E., Uyeda, E., Ray, R., Sharma, A., Ramanujan, R., Dong, J., Comparison of Neural Network Algorithms for Face Recognition, SIMULATION 65 (1995), 37-51
31. Россиев Д. А., Медицинская нейроинформатика, В кн.: Нейроинформатика [Архівовано 7 червня 2009 у Wayback Machine.] / А. Н. Горбань, В. Л. Дунин-Барковский, А. Н. Кирдин и др. — Новосибирск: Наука. Сибирское предприятие РАН, 1998. — 296 с.
32. И. И. Баскин, В. А. Палюлин, Н. С. Зефиров. Применение искусственных нейронных сетей для прогнозирования свойств химических соединений // Нейрокомпьютеры: разработка, применение.  — 2005.  — № 1 — 2.  — С. 98  — 101.
33. Галушкин А.
34. Миркес Е. М.,Логически прозрачные нейронные сети и производство явных знаний из данных, В кн.: Нейроинформатика / А. Н. Горбань, В. Л. Дунин-Барковский, А. Н. Кирдин и др.  — Новосибирск: Наука. Сибирское предприятие РАН, 1998. — 296 с ISBN 5-02-031410-2
35. Borisyuk, R., Borisyuk, G., Rallings, C., and Thrasher, M. Forecasting the 2005 General Election: A Neural Network Approach.
36. Терехов С. А., Нейросетевые информационные модели сложных инженерных систем, В кн.: Нейроинформатика [Архівовано 7 червня 2009 у Wayback Machine.] / А. Н. Горбань, В. Л. Дунин-Барковский, А. Н. Кирдин и др.  — Новосибирск: Наука. Сибирское предприятие РАН, 1998.  — 296 с ISBN 5-02-031410-2
37. Morillas C., Romero S., Martinez A., Pelayo F., Reyneri L., Bongard M., Fernandez, E., A neuroengineering suite of computational tools for visual prostheses, Neurocomput., 70 (16-18) (2007), 2817—2827.
38. Gorban A.N., Rossiyev D.A., Dorrer M.G., MultiNeuron — Neural Networks Simulator For Medical, Physiological, and Psychological Applications, Wcnn'95, Washington, D.C.: World Congress on Neural Networks 1995 International Neural Network Society Annual Meeting: Renaissance Hotel, Washington, D.C., USA, July 17-21, 1995.
39. Dorrer M.G., Gorban A.N., Kopytov A.G., Zenkin V.I., Psychological Intuition of Neural Networks.
40. Доррер М. Г., Психологическая интуиция искусственных нейронных сетей, Дисс. … 1998.
41. Taniguchi M., Haft M., Hollm\'en J., Tresp V., Fraud detection in communications networks using neural and probabilistic methods, In Proceedings of the 1998 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP'98), volume II, pages 1241—1244, 1998.
42. Червяков Н. И., Евдокимов А. А., Галушкин А. И., Лавриненко И. Н. и др.,Применение искусственных нейронных сетей и системы остаточных классов в криптографии [Архівовано 2018-08-12 у Wayback Machine.], — М.: ФИЗМАТЛИТ, 2012. — 280 c.

Див. також

• Нейроморфні комп'ютери

Портал «Програмування»   Портал «Інформаційні технології»