Microsoft HoloLens — очки смешанной реальности, разработанные Microsoft. Используют 64-разрядную операционную систему Windows Holographic (версия Windows 10).
История разработки
Одной из технологий, предшествовавших созданию устройства, был игровой контроллер Kinect, выпущенный в 2010 году, и среди разработчиков HoloLens много тех, кто прежде занимался Xbox и Kinect. Разработка началась в 2012 году, прототип был представлен прессе в январе 2015 года, 16 марта 2016 года стала продаваться версия для разработчиков из США и Канады (стоимость 3000 долларов), c 12 октября предзаказ устройства стал также доступен в Великобритании, Ирландии, Франции, Германии, Австралии и Новой Зеландии[1]. Из-за того, что продукт пока не является массовым, Microsoft отказалась от услуг производственных партнёров для выпуска HoloLens и производит их самостоятельно на своей фабрике в США[2].
Конструкция
HoloLens представляет собой надеваемый на голову обруч с расположенными перед глазами тонированными линзами с волнообразной призматической структурой, которые преломляют и отправляют в глаза пользователя изображения с расположенных по бокам микродисплеев. Для использования HoloLens должно быть откалибровано межзрачковое расстояние. Размер устройства может быть приспособлен под размер головы пользователя с помощью специального колёсика. В верхней части расположены 2 пары кнопок — для управления яркостью экрана (над левым ухом) и громкостью звука (над правым). Соседние кнопки имеют разную форму (одна выпуклая, другая вогнутая) с той целью, чтобы их можно было различать на ощупь. Динамики расположены у нижнего края устройства; они позволяют слышать как звуки виртуальной реальности, так и звуки, исходящие извне.
В отличие от большинства других устройств виртуальной, дополненной или смешанной реальности, HoloLens автономны и не требуют подключения к ПК, смартфону или игровой консоли.
Аппаратное обеспечение
HoloLens использует 64-разрядный 4-ядерный процессор Intel Atom x5-Z8100 с частотой 1,04 ГГц[3]. В дополнение к центральному и графическому процессорам HoloLens имеет голографический процессор (англ. holographic processing unit), разработанный Microsoft специально для HoloLens. Голографический процессор, размещённый в корпусе 12 × 12 мм, использует 28 цифровых сигнальных процессоров производства Tensilica для обработки и интеграции данных, поступающих со всех сенсоров, а также пространственного сканирования (англ. spatial mapping) помещения, распознавания жестов, голоса и речи. По утверждению разработчиков, голографический процессор обрабатывает «терабайты информации». SoC и голографический процессор имеют 8 Мб встраиваемой памяти SRAM и по 2 Гб LPDDR3.
Встроенное хранилище данных имеет объём 64 Гб, из них около 10 Гб занимает операционная система, так что пользователю остаются доступны 54,09 Гб.
Объём оперативной памяти — 2 Гб.
Приложения для HoloLens не могут использовать больше 900 Мб памяти, в случае превышения этого лимита работа приложения прерывается[4].
HoloLens обладают 4 камерами (по 2 с каждой стороны) для сканирования окружения и ориентации в пространстве, 4 микрофонами, гиростабилизатором, датчиком глубины, 2MP видеокамерой, сенсором окружающего освещения.
Оптика HoloLens устроена очень сложно (если сравнивать, например, с устройствами виртуальной реальности), что обусловлено необходимостью не просто выводить изображение на экран, но ещё и правильно совмещать его с объектами реального мира. Жидкокристаллические проекторы с разрешением сторон 16:9, которые Microsoft назвала «световыми движками» (англ. light engines), создают изображение, которое затем проходит через визуализационную оптику (англ. imaging optics), волновод, combiner (устройство, совмещающее проекцию и изображение реального мира) и дифракционные решётки[5][6]. Линзы имеют 3 слоя — для синего, зелёного и красного цветов — каждый со своими дифракционными свойствами.
Теми, кто пользовался HoloLens, отмечается, что они обладают небольшим полем зрения (при этом субъективные оценки размера поля зрения существенно разнятся)[7][8][9], особенно по сравнению со шлемами виртуальной реальности, что часто характеризуется как их основной недостаток[10]; при этом на Electronic Entertainment Expo 2015 Кудо Цунода, вице-президент Microsoft, сообщил, что поле зрения вряд ли значительно изменится к выходу окончательной версии устройства.
HoloLens может генерировать бинауральный звук, что позволяет имитировать направление звука, создавая иллюзию того, что он исходит от виртуального источника.
HoloLens содержит электрический аккумулятор объёмом 16 500 мА·ч, которого должно хватать на 2-3 часа активного использования или 2 недели в спящем режиме. HoloLens можно использовать во время зарядки аккумулятора.
Управление
HoloLens можно управлять с помощью жестов, голосом (в устройство интегрирована Cortana), с помощью специального кликера (англ. clicker), поставляющегося вместе с устройством, или нажатием кнопок.
Существуют следующие жесты[11]:
- Air tap — указательный палец, изначально поднятый вверх, опускается вниз и сразу же поднимается обратно; имитирует нажатие кнопки мыши, служит для выбора приложения или другой голограммы, на которую смотрит пользователь;
- Tap and hold — указательный палец опускается вниз и остаётся в таком положении; может использоваться для скроллинга, масштабирования, перетягивания элементов и т. д.;
- Bloom — кончики пальцев соединяются, затем ладонь раскрывается; запускает стартовое меню.
HoloLens отслеживает направление взгляда пользователя, соответственно перемещая курсор. Голограмма, на которую направлен курсор, подсвечивается.
Использование
По утверждению главы Microsoft Сатьи Наделлы, основной целевой аудиторией HoloLens является бизнес[12][13]. Как рассказал Крис Капоссела, директор по маркетингу Microsoft, первоначально в компании недооценили перспективность этого направления и представляли HoloLens как устройство, в большей степени предназначенное для игр, но неожиданно сильный интерес, проявленный корпоративными клиентами, заставил переориентировать HoloLens в направлении другого рынка; одним из тех, кто сыграл роль в принятии этого решения, был Наделла[14]. При этом ожидается, что со временем, по мере снижения цены устройства, оно станет широко использоваться также и массовым потребителем, в том числе геймерами.
Сама Microsoft для демонстрации возможностей смешанной реальности представила несколько приложений для массовых пользователей, например, шутер от первого лица RoboRaid, платформер Young Conker, приложение для виртуального туризма HoloTour, Paint 3D и Skype для HoloLens, а также приложение для 3D-моделирования HoloStudio.
Одним из применений потенциально может стать «голографическая телепортация» (англ. holoportation)[15], позволяющая с помощью специальных камер (как утверждается, минимально необходимое количество камер — 2, использование большего количества камер позволяет улучшить качество) в реальном времени захватить 3D-модель человека и воспроизвести перед носителем HoloLens. В ноябре 2016 года исследователи Microsoft Research сообщили, что им удалось сократить требования к скорости инернет-соединения для «голопортации» на 97 % и заставить её работать в движущемся автомобиле; для стабильной передачи данных достаточно скорости 30-50 Мбит/с вместо 2-3 Гбит/c, как было раньше[16]. Однако в настоящий момент неясно, станет ли «голопортация» доступна для широкого использования и, если станет, то когда.
HoloLens также используются или предполагаются к использованию для показа мод[17], для демонстрации автомобиля Volvo S90[18], для обучения студентов-медиков[19], в армии для создания системы кругового обзора для бронетехники[20][21], для помощи хирургам в проведении операций[22] и т. д.
Разработка для HoloLens
На HoloLens можно запускать большинство обычных приложений, использующих универсальную платформу Windows, которые выглядят как двумерная «голограмма» перед глазами пользователя. При этом некоторые API Windows 10 пока ещё не поддерживаются[23].
Для разработки трёхмерных приложений сама Microsoft рекомендует движок Unity[24], а также Vuforia SDK, предназначенный специально для приложений дополненной реальности. Другой распространённый движок, Unreal Engine, в настоящий момент не поддерживает HoloLens. Возможно также создать приложение без использования готового движка, с помощью более низкоуровневых средств — DirectX и Windows API.
Рекомендуемой IDE для разработки под HoloLens является Microsoft Visual Studio.
Для тестирования приложений существует интегрированный в Visual Studio эмулятор, использующий систему аппаратной виртуализации Microsoft Hyper-V.
Галерея
Примечания
Ссылки
 |
|---|
| Концепции | |
|---|
Технологии
погружения | |
|---|
| Трекинг | |
|---|
Устройства
погружения | |
|---|
| Приложения | |
|---|
