25 сентября, 2021

Microsoft HoloLens — как это работает?

Микрософт HoloLens — это очки дополненной реальности со встроенным процессором и набором датчиков, работающих по беспроводной связи. Они позволяют отображать цифровые объекты, не загораживая при этом поле зрения пользователя. Прием команд выполняется путем слежения за взглядом, жестами или голосовыми сообщениями.

Мы живём в такое время, когда невозможно изолироваться от технологий, мы взаимодействуем с ними повседневно и везде. Технологичные новинки появляются практически повседневно, и иногда тяжело угнаться за регулярно прогрессирующими изменением. Восполненная реальность также считается частью этой тенденции, поскольку она дает возможность накладывать цифровые объекты на настоящие изображения, с которыми мы можем взаимодействовать.

С прогрессом в области электроники устройства, поддерживающие технологию дополненной реальности, становятся все меньше и эффектнее. За счёт этого они перестают быть только дорогими гаджетами, а становятся полезными устройствами, которые могут реально оказывать влияние на качество нашей работы. Одним из первых подобных устройств считается Микрософт HoloLens.

Что такое HoloLens?

HoloLens — это закрепляемое на голове устройство со своим встроенным вычислительным блоком, ОС Windows 10 и рядом датчиков, включая микрофон, разные типы камер, стереодинамики и проекторы, в частности:

  • IMU (Inertial Measurement Unit) инерциальный измерительный блок, включающий акселерометр, гироскоп и магнитометр
  • Камеры, отображающие пространство вокруг пользователя
  • Камера с датчиком глубины
  • Датчик освещенности
  • 2-мегапиксельная камера в ответе за съемку фотографий и запись видео HD-качества,

Устройство позволяет отображать голографические проекции, внедренные в реальное пространство, показывая визуализированные 3D-объекты, тексты или фотографии. Благодаря упомянутым выше датчикам возможно взаимодействие между цифровыми объектами, пользователем и HoloLens. Устройство отслеживает взгляд, стоит еще сказать что, можно отдавать голосовые команды или делать жесты, которые после обрабатываются в инструкции, осуществляемые компьютером.

Как работает HoloLens?

В отличии от гарнитур VR, которые передают полностью цифровое изображение через OLED-дисплеи, HoloLens считается «проходным» устройством. Это значит, что пользователь видит настоящий мир через просвечивающиеся линзы устройства, а проецируемые изображения (голограммы) каким-нибудь образом добавляются к настоящему пространству. Поэтому, если вы хотите Купить Microsoft Hololens 2, переходите в магазин.

HoloLens — представляет собой устройство, создающее карту внешней среды, в которую оно помещено. За счёт этого реальное пространство пользователя отображается устройством. Картирование среды выполняется при помощи конкретных элементов. Четыре камеры собирают изображения вокруг (пол, потолок, стены, мебель и т.д.) После HPU (блок голографической обработки) обрабатывает собранную информацию в 2 снимка с различных ракурсов. Это дает возможность HoloLens заблаговременно трактовать внешнюю среду.

В следующем процессе ИК-излучатели, или излучатели инфракрасного света, придают глубину этому изображению (точно также контроллеру Kinect). ИК-излучатель отправляет лучи света, которые отображаются от объектов, с которыми он сталкивается. Поэтому, отраженные, они переходят к камере глубины. Камера глубины может извлекать информацию о расстоянии на основе яркости потоков света, т.е. чем больше расстояние, пройденное потоком света, тем он слабее, когда возвращается. Процессор HPU (своеобразный для HoloLens), получая указанные данные из внешней среды и зная расстояния до преград, создаёт виртуальное изображение внешней среды. Благодаря данному процессу возможно взаимодействие цифровых изображений с внешней средой, к примеру, расположение голограммы прямо на столе, расположение подсветки точно на реальном элементе.

Картирование внешней среды также выполняется благодаря инерциальному навигационному блоку (IMU), т.е. гироскопу, акселерометру и магнитометру. IMU позволяет HoloLens трактовать расположение пользователя и подстраивать под него виртуальные изображения (мы можем просматривать 3D-изображение с каждой стороны).

Графический процессор, имеющийся в процессоре ATOM (CPU и GPU), в ответе за генерацию голограмм. Должным образом обработанные данные с камер передаются на графический процессор. На основе данной информации графический процессор создаёт изображения, соответствующие окружающему миру.

А как выглядит отображение голограмм? Чтобы это сделать применяются два проектора в виде крошечных жидких кристаллов кремния (LQoD). Каждый из них выводит изображение в качестве Full HD 16:9 на основе информации, получившейся от графического процессора. Это изображение, со своей стороны, направляется на нижнюю половину прозрачных линз с RGB-фильтрами (чтобы пользователь мог видеть цвета). Нововведением, использованным в HoloLens, считается использование волновода, благодаря ему, не обращая внимания на прозрачную линзу, свет не проходит сквозь нее, а отражается, достигая глаза пользователя. Это дает возможность пользователю точно видеть мир из-за линзы, а отраженное изображение голограмм считается четким.

Плюс к этому, есть проблема захвата жестов пользователя. Камера глубины, опираясь на ИК-лучах, отраженных от руки, указывает на изменение глубины и передает данные через HPU на GPU, который зрительно корректирует голограмму, создавая конкретную команду. Вся эта деятельность выполняется в реальном времени!

Как применять HoloLens?

Не обращая внимания на технологичный прогресс, HoloLens максимально прост в применении. Просто хорошо закрепите очки к голове, нажмите кнопку запуска и выберите подходящее приложение.

В минувшие выходные прошла презентация HoloLens 2, которая будет выпущена к концу этого года.

The Verge по-русски: Microsoft HoloLens

Обзор Microsoft HoloLens: очки дополненной реальности в действии — гаджеты из будущего — Хололенс

Добавить комментарий

Ваш адрес email не будет опубликован.