Измешана реалност

Пример за мешана реалност, прикажување виртуелни карактери кои се мешаат во следење во живо во реалниот свет^[1]

Мешаната реалност (МР) е спојување на реалниот и виртуелниот свет за производство на нови околини и визуелизации, каде физичките и дигиталните објекти коегзистираат и комуницираат во реално време. Мешаната реалност не се одвива исклучиво ниту во физичкиот, ниту во виртуелниот свет, туку е хибрид на реалноста и виртуелната реалност, опфаќајќи ја истовремено зголемената реалност и зголемената виртуелност преку допирна технологија.^[2]

Првиот допирен систем на мешани реалности што обезбедил обвиткан поглед, звук и допир била платформата „Virtual Fixtures“, која била развиена во 1992 година во лабораториите на Армстронг на Воените сили на Соединетите држави . Проектот покажал дека перформансите на човекот може значително да се засилат, со преклопување на просторно регистрирани виртуелни објекти над директен поглед на една личност за вистинско физичко опкружување.^[3]

Разлики во терминологијата

Континуум на реалност-виртуелност

Мешаната реалност се однесува на континуумот што опфаќа и виртуелна реалност (VR) и зголемена реалност (AR):

• Виртуелната реалност ги потопува корисниците во целосно вештачко дигитално опкружување.
• Зголемената реалност ги обложува виртуелните објекти на животната средина во реалниот свет со просторна регистрација што овозможува геометриска упорност во однос на сместување и ориентација во реалниот свет. Претходните технологии кои ги покриваат податоците или сликите што не се просто регистрирани во геометријата во реалниот свет, се нарекуваат технологии за прикажување на главата .

Дефиниција

Средно континуиран реалност (хоризонтална оска: виртуелност; вертикална оска: медијалност). Четири точки се прикажани за зголемена реалност, зголемена виртуелност, посредувана реалност и посредувана виртуелност.

Виртуелност континуум и континуум на медијалност

Во 1994 година, Пол Милграм и Фумио Кишино ја дефинираа мешаната реалност како "... насекаде помеѓу екстремата на континуитетот на виртуелноста " (VC), ^[2] каде што виртуелниот континуум се протегал од комплетно реално до целосно виртуелно опкружување, со зголемена реалност и зголемена виртуелност која се движи помеѓу. Првиот целосно потопувачки мешан реалност систем била платформата „Виртуелни тела“, која била развиена во 1992 година од Луис Розенберг во лабораториите на Армстронг на воздушните сили на Соединетите држави . Им овозможил на човечките корисници да контролираат роботи во околии во реалниот свет кои вклучуваат вистински физички предмети и 3Д виртуелни преклопи („тела“) кои беа додадени ги подобруваат човечките перформанси на задачите за манипулација. Објавените студии покажале дека со воведување виртуелни предмети во реалниот свет, човечките оператори можат да постигнат значителни зголемувања на перформансите.^[4][5]

Континуумот на мешана реалност е една од двете оски во концептот на посредуваната реалност на Стив Ман, спроведен од разни шлемови за заварување, компјутери што се носат и носат фотографски системи што се носат, тој ги создал во 1970-тите и раните 80-ти.^{[6][7][8][9][10]} Втората оска беше континуумот за медијалност, кој вклучува „Смалена реалност“, како што било применето во шлем за заварување или очила што можат да блокираат рекламирање или да ги заменат рекламите во реалниот свет со корисни информации.^[11][12]

„Конвенционално одржуваниот поглед на околината за виртуелна реалност (VR) е оној во кој учесникот-набудувач е потопен во, и е во состојба да комуницира со, целосно синтетички свет. Таквиот свет може да имитира својства на некои средини од реалниот свет, постојни или измислени; сепак, може да ги надмине границите на физичката реалност со создавање свет во кој физичките закони кои обично регулираат со просторот, времето, механиката, материјалните својства, итн. Она што може да се занемари во овој поглед, сепак е дека етикетата VR исто така често се користи во асоцијација со различни други околини, на кои тоталното потопување и целосна синтеза не мора да се одразуваат, но кои спаѓаат некаде по континуитет на виртуелност. Во овој труд, ние се фокусираме на одредена подкласа на технологии поврзани со VR кои вклучуваат спојување на реалниот и виртуелниот свет, за што генерално се однесуваме како мешана реалност (МР).”

Меѓуреална физика

Во контекст на физиката, терминот „систем на меѓусебност“ се однесува на систем на виртуелна реалност, заедно со неговиот колега од реалниот свет. Еден труд од 2007 година го опишува системот за меѓуреалност што се состои од вистински физички нишал споен со нишалото што постои само во виртуелната реалност.^[13] Овој систем има две стабилни состојби на движење: состојба „Двојна реалност“ во која движењето на двете нишалки не се во корелација, и состојба на „Мешана реалност“ во која нишалото покажува стабилно фазно заклучено движење, што е многу корелирано. Употребата на термините „мешана реалност“ и „меѓусебност“ е јасно дефинирана во контекст на физиката, но може да биде малку различна во другите полиња.

Мешана реалност

Едно лице е во виртуелна околина, при што камерата делува како гледна точка на трето лице.^[14]

Зголемената виртуелност ( АВ ) е поткатегорија на мешана реалност која се однесува на спојување на објекти од реалниот свет во виртуелни светови.^[15]

Како посреден случај во континуитетот на виртуелноста, тој се однесува на претежно виртуелни простори, каде физичките елементи (како физички предмети или луѓе) се динамички интегрирани во и можат да комуницираат со виртуелниот свет во реално време. Оваа интеграција се постигнува со употреба на разни техники, како што се видео преку физички простори, како преку веб-камера,^[16] или со помош на 3Д дигитализација на физички објекти.^[17]

Употребата на информации за сензори од реалниот свет, како што се жироскопите, за контрола на виртуелна околина е дополнителна форма на зголемена виртуелност, во која надворешните влезови овозможуваат контекст за виртуелниот преглед.

Апликации

Мешаната реалност се користи во апликации низ области, вклучувајќи уметност, забава и воена обука.

Интерактивно управување со содржини на производи (IPCM)

Преминувајќи од статички каталози на производи до интерактивни 3Д паметни дигитални реплики, ова решение се состои од апликативни софтверски производи со размерливи модели на лиценци.  

Учење засновано на симулација (SBL)

Преминувајќи од е-учење до учење преку електронско учење, учењето засновано на симулација вклучува обука заснована на VR и интерактивно, искуствено учење. Ова исто така вклучува и софтверски решенија и дисплеи со размерлив лиценциран модел за развој на наставната програма.  

Воена обука

Борбената реалност е симулирана и претставена во комплексни, слоевитни податоци преку HMD. Решенијата за воена обука честопати се градат на комерцијални теренски (COTS) технологии, како што се Virtual Battlespace 3 и VirTra, и двете се користат од армијата на САД . Од 2018, VirTra го користат и цивилните и воените полициски служби за обука на персоналот во најразлични сценарија, вклучувајќи активен стрелец, семејно насилство и воени сообраќајни постојки.^[18][19] Технологиите за мешани реалности се користат од лабораторијата за истражување на армијата на Соединетите Држави за да проучат како овој стрес влијае врз донесувањето на одлуки. Со мешаната реалност, истражувачите можат безбедно да го проучуваат воениот персонал во сценарија каде што војниците веројатно нема да преживеат.^[20]

Во 2017 година, армијата на САД развива Средина за синтетичка бука (STE), збир на технологии за цели за обука што се очекуваше да вклучува мешана реалност. Во 2018, СТЕ сè уште бил во развој без предвиден датум за завршување. Некои запишани цели на СПЕ вклучувале зајакнување на реализмот и зголемување на можностите за обука за симулација и достапност на СПЕ до други системи.

Се тврдело дека околностите со мешавина на реалност како СТЕ може да ги намалат трошоците за обука,^[21][22] како што е намалувањето на количината на муниција потрошена за време на обуката.^[23] Во 2018 година било објавено дека СТЕ ќе вклучува претставници од кој било дел од светскиот терен за обучни цели.^[24] STE нудел најразлични можности за обука за составот на бригадата и борбените тимови, вклучувајќи ги и тимовите Стрикер, вооружувањето и пешадиските тимови.^[25] STE на крајот се очекува да ја замени во живо, виртуелна, конструктивна - интегрирана архитектура на американската армија (LVC-IA).^[26]

Далечинско работење

Мешаната реалност им овозможува на глобалната работна сила на оддалечените тимови да работат заедно и да се справат со деловните предизвици на една организација. Без разлика каде се физички сместени, вработениот може да носи слушалки и слушалки што ќе откажат бучава и да влезе во заедничка, потопна виртуелна околина. Бидејќи овие апликации можат точно да преведат во реално време, јазичните бариери стануваат нерелевантни. Овој процес исто така ја зголемува флексибилноста. Додека многу работодавци сè уште користат нефлексибилни модели на фиксно работно време и локација, постојат докази дека вработените се попродуктивни доколку имаат поголема автономија за тоа каде, кога и како работат. Некои вработени претпочитаат гласни работни околини, додека на други им е потребна тишина. Некои работат најдобро наутро; другите работат најдобро ноќе. Вработените исто така имаат корист од автономија во начинот на работа, бидејќи на различни начини на обработка на информации. Класичниот модел за стилови на учење се разликува помеѓу учениците со визуелни, аудитивни и кинестетички .^[27]

Одржувањето на машината може да се изврши и со помош на мешана реалност. Поголемите компании со повеќе производни локации и многу машини можат да користат мешана реалност за да ги образоваат и да ги поучуваат своите вработени. На машините им се потребни редовни прегледи и треба да се прилагодуваат секогаш и тогаш. Овие прилагодувања најчесто ги прават луѓето, така што вработените треба да бидат информирани за потребните прилагодувања. Користејќи мешана реалност, вработените од повеќе локации можат да носат слушалки и да добиваат упатства во живо за промените. Инструкторите можат да управуваат со застапеноста што секој вработен ја гледа и може да лета низ областа за производство, зумирајќи до техничките детали и објаснувајќи ја потребната промена. Се покажа дека вработените кои завршуваат пет-минутна обука сесија со таква програма за мешани реалности, ги даваат истите резултати како и читањето на прирачникот за обука на 50 страници.^[28]

Функционална макета

Мешаната реалност може да се искористи за да се изградат макети кои комбинираат физички и дигитални елементи. Со употреба на истовремена локализација и мапирање (SLAM), макетите можат да комуницираат со физичкиот свет за да користат функции како постојаност на објектот.

Свест

Се претпоставуваше дека хибрид од мешана и виртуелна реалност може да го отвори патот човечката свест да се пренесе во дигитална форма во целост - концепт познат како „ Вистинитост“, што би можело да ја искористи можноста за создавање на својата главна платформа.^[29][30]

Медицина

Мешаната реалност може да комбинира паметни очила со хируршки процеси.^[31]

Нагледни технологии

Еве неколку најчесто користени технологии на нагледници со мешана реалност:

• 
  Пештерна автоматска виртуелна околина
• 
  Екран за глава
• 
  Екран поставен за на глава
• 
  Таблет компјутер
• 
  Компјутерски екран
• 
  Личен дигитален помошник
• 
  Мобилни телефони
• 
  Рачен компјутер

Наводи

1. R. Freeman, A. Steed and B. Zhou, Rapid Scene Modelling, Registration and Specification for Mixed Reality Systems Архивирано на 6 февруари 2007 г. Proceedings of ACM Virtual Reality Software and Technology, pp. 147-150, Monterey, California, ноември 2005.
2. P. Milgram and A. F. Kishino (1994). „Taxonomy of Mixed Reality Visual Displays“. IEICE Transactions on Information and Systems. стр. 1321–1329. Архивирано од изворникот на 2017-05-04. Посетено на 22 февруари 2020.
3. Rosenberg, Louis B. (1992). "The Use of Virtual Fixtures As Perceptual Overlays to Enhance Operator Performance in Remote Environments". Technical Report AL-TR-0089, USAF Armstrong Laboratory, Wright-Patterson AFB OH, 1992.
4. L. B. Rosenberg. The Use of Virtual Fixtures As Perceptual Overlays to Enhance Operator Performance in Remote Environments. Technical Report AL-TR-0089, USAF Armstrong Laboratory, Wright-Patterson AFB OH, 1992.
5. Rosenberg, Louis B. (1993). „Virtual fixtures as tools to enhance operator performance in telepresence environments“. Telemanipulator Technology and Space Telerobotics. 2057: 10–21. Bibcode:1993SPIE.2057...10R. doi:10.1117/12.164901.
6. Steve Mann, "Campus Canada", ISSN 0823-4531, p55 Feb-Mar 1985, pp58-59 Apr-May 1986, p72 Sep-Oct 1986
7. Impulse, Volume 12, Number 2, 1985
8. Quantigraphic camera promises HDR eyesight from Father of AR, by Chris Davies, SlashGear, Sep 12th 2012
9. IEEE Technology & Society 31(3)
10. Through the Glass, Lightly, IEEE Technology & Society, Volume 31, Number 3, Fall 2012, pages 10-14
11. Mann, S., & Fung, J. (2001). Video orbits on EyeTap devices for deliberately diminished reality or altering the visual perception of rigid planar patches of a real-world scene. Proceedings of the Second IEEE International Symposium on Mixed Reality, pp 48-55, March 14–15, 2001.
12. 关于智能眼镜 (About Smart Glasses), 36KR, 2016-01-09
13. V. Gintautas, and A. W. Hubler, Experimental evidence for mixed reality states in an interreality system Phys. Rev. E 75, 057201 (2007).
14. LIV. „Mixed Reality Studio - The LIV Cube“. LIV. Архивирано од изворникот на 2018-07-04. Посетено на 22 февруари 2020.
15. P. Milgram, and A. F. Kishino, Taxonomy of Mixed Reality Visual Displays Архивирано на 4 мај 2017 г. IEICE Transactions on Information and Systems, E77-D(12), pp. 1321–1329, 1994.
16. „The Dive Home Page“. 30 June 2012. Архивирано од изворникот на 20 јуни 2012.
17. „Introduction - Teleimmersion Lab“. UC Berkeley. Архивирано од изворникот на 2017-07-23. Посетено на 2020-02-22.
18. Inc., VirTra. „VirTra's Police Training Simulators Chosen by Three of the Largest U.S. Law Enforcement Departments“. GlobeNewswire News Room (англиски). Посетено на 22 февруари 2020.
19. „How do police use VR? Very well | Police Foundation“. www.policefoundation.org (англиски). 2017-08-14. Архивирано од изворникот на 2020-02-22. Посетено на 22 февруари 2020.
20. Patton, Debbie; Marusich, Laura (2015-03-09). 2015 IEEE International Multi-Disciplinary Conference on Cognitive Methods in Situation Awareness and Decision. стр. 145–150. doi:10.1109/COGSIMA.2015.7108190. ISBN 978-1-4799-8015-4.
21. Bukhari, Hatim; Andreatta, Pamela; Goldiez, Brian; Rabelo, Luis (2017-01-01). „A Framework for Determining the Return on Investment of Simulation-Based Training in Health Care“. INQUIRY: The Journal of Health Care Organization, Provision, and Financing (англиски). 54: 0046958016687176. doi:10.1177/0046958016687176. ISSN 0046-9580. PMC 5798742. PMID 28133988.
22. Smith, Roger (2010-02-01). „The Long History of Gaming in Military Training“. Simulation & Gaming (англиски). 41 (1): 6–19. doi:10.1177/1046878109334330. ISSN 1046-8781.
23. Shufelt, Jr., J.W. (2006) A Vision for Future Virtual Training. In Virtual Media for Military Applications (pp. KN2-1 – KN2-12). Meeting Proceedings RTO-MP-HFM-136, Keynote 2. Neuilly-sur-Seine, France: RTO. Available from: http://www.rto.nato.int/abstracts.asp {{Webarchive|url=https://web.archive.org/web/20070613170605/http://www.rto.nato.int/Abstracts.asp |date=2007-06-13 }}
24. „STAND-TO!“. www.army.mil (англиски). Посетено на 22 февруари 2020.
25. „Augmented reality may revolutionize Army training | U.S. Army Research Laboratory“. www.arl.army.mil (англиски). Архивирано од изворникот на 2018-08-22. Посетено на 22 февруари 2020.
26. „Army Shoots for Single Synthetic Training Environment“. GovTechWorks (англиски). 2015-11-17. Посетено на 22 февруари 2020.^{[мртва врска]}
27. Sena, Pete. „How The Growth Of Mixed Reality Will Change Communication, Collaboration And The Future Of The Workplace“. TechCrunch. Посетено на 22 февруари 2020.
28. The Manufacturer. „Manufacturers are successfully using mixed reality today“. www.themanufacturer.com (англиски).
29. „Potential of Blockchain Technology as Protocol of Universal Virtual Reality“. TurboFuture (англиски). Посетено на 22 февруари 2020.
30. Shirazi, Sina. „Pairing Augmented Reality with Virtual Reality“ (англиски).
31. „Taipei hits highs in Medica 2017“. healthcare-in-europe.com (англиски). Посетено на 22 февруари 2020.

Дополнителна литература

• Signer, Beat & Curtin, Timothy J. (2017). Опипливи холограми: Кон мобилно физичко зголемување на виртуелните објекти, Технички извештај WISE Lab, WISE-2017-01, март 2017 година.
• Флејшман, Моника; Штраус, Волфганг (редакција) (2001). Зборник Архивирано на 3 март 2016 г. на трудови Архивирано на 3 март 2016 г. на »CAST01 // ivingивеење во мешани реалности« Архивирано на 16 ноември 2020 г. Intl. Конф. За комуникација на уметноста, науката и технологијата, Fraunhofer IMK 2001, 401. ISSN 1618-1379 (Печати), ISSN 1618-1387 (Интернет).
• Интерактивна мултимедијална лабораторија Истражувачка лабораторија на Националниот универзитет во Сингапур се фокусира на мулти-модални интерфејси со мешана реалност.
• Географски информативен систем на мешана реалност (MRGIS)
• Костанза, Е., Кунц, А. и Фјелд, М. 2009 година. Мешана реалност: Анкета Костанза, Е., Кунц, А. и Фјелд, М. 2009 година. Мешана реалност: Анкета. Во интеракција со човечка машина: Резултати од истражувањето на програмата за ММИ, Д. Лалана и Koh. Кохлас (Едс. ) LNCS 5440, стр.   47–68.
• H. Regenbrecht and C. Ott and M. Wagner and T. Lum and P. Kohler and W. Wilke and E. Mueller, Augmented Virtuality Access to 3D Videoconferencing, Procesings of 2nd IEEE and ACM International Sympozium on the Mix and Augmented Reality, стр 290-291, 2003 година
• Кристијан Симзаријан и Карл-Петер Акесон, Виндоус на светот: Пример за засилена виртуелност, Шеста меѓународна конференција во интерфејс Монпелје, интеракција меѓу човек и машина, стр 68-71, 1997
• http://www.architecturemixedreality.com/ Архивирано на 16 декември 2014 г.
• Смешана скала на реалноста - Виртуелност Континуирана парафраза на Милграм и Кишино (1994) со примери.
• IEICE трансакции на информациски системи, том E77-D, бр.12 декември 1994 година - Таксономија на визуелни дисплеи со мешана реалност - Пол Милграм, Фумио Кишино Архивирано на 4 мај 2017 г.
• Гугл открива училишна технологија за мешани реалности, Грегори Вилсон Архивирано на 4 август 2020 г.