Очки от майкрософт

Аппаратное обеспечение

HoloLens использует 64-разрядный 4-ядерный процессор Intel Atom x5-Z8100 с частотой 1,04 ГГц. В дополнение к центральному и графическому процессорам HoloLens имеет голографический процессор (англ. holographic processing unit), разработанный Microsoft специально для HoloLens. Голографический процессор, размещённый в корпусе 12 × 12 мм, использует 28 цифровых сигнальных процессоров производства Tensilica для обработки и интеграции данных, поступающих со всех сенсоров, а также пространственного сканирования (англ. spatial mapping) помещения, распознавания жестов, голоса и речи. По утверждению разработчиков, голографический процессор обрабатывает «терабайты информации». SoC и голографический процессор имеют 8 Мб встраиваемой памяти SRAM и по 2 Гб LPDDR3.

Встроенное хранилище данных имеет объём 64 Гб, из них около 10 Гб занимает операционная система, так что пользователю остаются доступны 54,09 Гб.

Объём оперативной памяти — 2 Гб.

Приложения для HoloLens не могут использовать больше 900 Мб памяти, в случае превышения этого лимита работа приложения прерывается.

HoloLens обладают 4 камерами (по 2 с каждой стороны) для сканирования окружения и ориентации в пространстве, 4 микрофонами, гиростабилизатором, датчиком глубины, 2MP видеокамерой, сенсором окружающего освещения.

Оптика HoloLens устроена очень сложно (если сравнивать, например, с устройствами виртуальной реальности), что обусловлено необходимостью не просто выводить изображение на экран, но ещё и правильно совмещать его с объектами реального мира. Жидкокристаллические проекторы с разрешением сторон 16:9, которые Microsoft назвала «световыми движками» (англ. light engines), создают изображение, которое затем проходит через визуализационную оптику (англ. imaging optics), волновод, combiner (устройство, совмещающее проекцию и изображение реального мира) и дифракционные решётки. Линзы имеют 3 слоя — для синего, зелёного и красного цветов — каждый со своими дифракционными свойствами.

Теми, кто пользовался HoloLens, отмечается, что они обладают небольшим полем зрения (при этом субъективные оценки размера поля зрения существенно разнятся), особенно по сравнению со шлемами виртуальной реальности, что часто характеризуется как их основной недостаток; при этом на Electronic Entertainment Expo 2015 Кудо Цунода, вице-президент Microsoft, сообщил, что поле зрения вряд ли значительно изменится к выходу окончательной версии устройства.

HoloLens может генерировать бинауральный звук, что позволяет имитировать направление звука, создавая иллюзию того, что он исходит от виртуального источника.

HoloLens содержат электрический аккумулятор объёмом 16 500 мА·ч, которого должно хватать на 2-3 часа активного использования или 2 недели в спящем режиме. HoloLens можно использовать во время зарядки аккумулятора.

Использование

По утверждению главы Microsoft Сатьи Наделлы, основной целевой аудиторией HoloLens является бизнес. Как рассказал Крис Капоссела, директор по маркетингу Microsoft, первоначально в компании недооценили перспективность этого направления и представляли HoloLens как устройство, в большей степени предназначенное для игр, но неожиданно сильный интерес, проявленный корпоративными клиентами, заставил переориентировать HoloLens в направлении другого рынка; одним из тех, кто сыграл роль в принятии этого решения, был Наделла. При этом ожидается, что со временем, по мере снижения цены устройства, оно станет широко использоваться также и массовым потребителем, в том числе геймерами.

Сама Microsoft для демонстрации возможностей смешанной реальности представила несколько приложений для массовых пользователей, например, шутер от первого лица RoboRaid, платформер Young Conker, приложение для виртуального туризма HoloTour, Paint 3D и Skype для HoloLens, а также приложение для 3D-моделирования HoloStudio.

Одним из применений потенциально может стать «голографическая телепортация» (англ. holoportation), позволяющая с помощью специальных камер (как утверждается, минимально необходимое количество камер — 2, использование большего количества камер позволяет улучшить качество) в реальном времени захватить 3D-модель человека и воспроизвести перед носителем HoloLens. В ноябре 2016 года исследователи Microsoft Research сообщили, что им удалось сократить требования к скорости инернет-соединения для «голопортации» на 97 % и заставить её работать в движущемся автомобиле; для стабильной передачи данных достаточно скорости 30-50 Мбит/с вместо 2-3 Гбит/c, как было раньше. Однако в настоящий момент неясно, станет ли «голопортация» доступна для широкого использования и, если станет, то когда.

HoloLens также используются или предполагаются к использованию для показа мод, для демонстрации автомобиля Volvo S90, для обучения студентов-медиков, в армии для создания системы кругового обзора для бронетехники, для помощи хирургам в проведении операций и т. д.

Примечания

  1. Microsoft announces global expansion for HoloLens (англ.) (12 October 2016).
  2. Сергей Юртайкин. Microsoft решила сама производить очки дополненной реальности HoloLens (12 марта 2016).
  3. Daniel Rubino. Microsoft HoloLens — Here are the full processor, storage and RAM specs (англ.) (2 May 2016). Проверено 18 декабря 2016.
  4. Performance recommendations (недоступная ссылка). Проверено 18 декабря 2016. Архивировано 20 декабря 2016 года.
  5. Secrets of HoloLens optics revealed (англ.) (24 August 2016). Проверено 18 декабря 2016.
  6. Алексей Лисовицкий. Из чего состоит Microsoft HoloLens и как всё это работает (19 октября 2016). Проверено 18 декабря 2016.
  7. Raymond Wong. Microsoft HoloLens has a disappointingly small field of vision (англ.) (11 July 2015). Проверено 18 декабря 2016.
  8. Microsoft’s augmented reality Halo is breathtaking, but HoloLens still needs work (англ.) (18 June 2015). Проверено 18 декабря 2016.
  9. HoloLens’ Project X-Ray delivers a first-person augmented reality shooter (16 June 2015). Проверено 18 декабря 2016.
  10. Matt Swider. This is how Microsoft’s HoloLens will address its biggest flaw (англ.) (1 June 2016). Проверено 18 декабря 2016.
  11. Use gestures. Проверено 18 декабря 2016.
  12. John Callaham. Satya Nadella: Microsoft HoloLens will focus on enterprise customers first (англ.) (14 July 2015). Проверено 18 декабря 2016.
  13. Daniel Rubino. HoloLens is Microsoft’s 5-year plan to conquer augmented reality computing, dev kits due next year (англ.) (17 September 2015). Проверено 18 декабря 2016.
  14. Todd Bishop. Microsoft marketing chief on HoloLens: ‘We totally underestimated the commercial interest’ (англ.) (5 April 2016). Проверено 18 декабря 2016.
  15. Mary Jo Foley. How Microsoft’s HoloLens could change communication via ‘Holoportation’ (25 марта 2016). Проверено 18 декабря 2016.
  16. Holoportation. Проверено 18 декабря 2016.
  17. Rachel Arthur. Hololens’ Mixed Reality To Transform London Fashion Week Show (9 сентября 2016). Проверено 18 декабря 2016.
  18. Сергей Карасёв. Презентация Volvo S90 в России прошла с использованием очков Microsoft HoloLens (22 августа 2016). Проверено 18 декабря 2016.
  19. Jo Best. HoloLens, MD: Why this medical school will teach doctors anatomy with Microsoft’s augmented reality, not cadavers (14 декабря 2016). Проверено 18 декабря 2016.
  20. Владимир Скрипкин. LimpidArmor – украинская система кругового обзора для бронированной техники на базе гарнитуры Microsoft HoloLens (26 октября 2016). Проверено 18 декабря 2016.
  21. Вячеслав Ларионов. Украинская компания LimpidArmor адаптирует HoloLens для военных (4 ноября 2016). Проверено 18 декабря 2016.
  22. HoloLens used to assist in actual spinal surgery (video) (англ.) (4 December 2016). Проверено 18 декабря 2016.
  23. Current limitations for apps using APIs from the shell.
  24. Development overview. Проверено 18 декабря 2016.

Ссылки

  • Официальный сайт (англ.)

Шлем Microsoft HoloLens перестаёт быть невиданной редкостью. Его можно опробовать на выставках и презентациях, роликами с ним заполнены видеохостинги, растёт количество студий, создающих под него программное обеспечение — они прикладывают массу усилий к тому, чтобы сделать смешанную реальность ближе к людям. Однако до сих пор мало кто понимает, какие технические решения сделали возможным создание шлема смешанной реальности.

На сегодняшний день мы знаем, что HoloLens — это принципиально новый компьютер на Windows 10 и мобильной вычислительной платформе Intel, который укомплектован визуальными датчиками, наделяющими его возможностями Kinect, но в гораздо более интересном мобильном варианте. Также в шлеме есть инерциальный блок определения местоположения, малоизвестный процессор типа Holographic Processing Unit (HPU) и проекционная система формирования изображения на линзах перед глазами пользователя.

Microsoft не скрывает информацию о своём ключевом устройстве будущего, но она также редко её афиширует, оставляя подробности разработчикам. А Голографика хочет, чтобы информацию о такой важной новинке мог найти любой желающий. Поэтому сегодня мы постараемся дать вам максимальное преставление о том, что скрыто под корпусом HoloLens, и как всё это работает.

Оптика

Начнём с того, на что сразу обратит внимание любой пользователь HoloLens. В отличие от шлемов виртуальной реальности, которые передают картинку через непрозрачные светодиодные или жидкокристаллические дисплеи и стеклянные линзы, которые искажают картинку для правильного восприятия зрительным аппаратом человека, в устройстве Microsoft установлены прозрачные волноводные линзы. Это линзы с волнообразной призматической структурой, которые правильным образом преломляют и отправляют в наши глаза картинки с расположенных по бокам микродисплеев. Картинка формируется на основе данных с датчиков местоположения шлема и окружающих объектов, и в результате мы видим перед собой «голограммы» — компьютерную графику, интегрированную в окружающую действительность, или смешанную реальность.

Рабочая цепочка оптической системы HoloLens выглядит следующим образом: микродисплей → визуализационная оптика → волновод → объединитель → дифракционные решётки (они производят расширение выходного зрачка). Пока просто набор слов, поэтому постараемся всё объяснить.

Начнём с конца. В оптике выходной зрачок — это виртуальная апертура оптической системы, и из системы могут выйти только лучи, проходящие через виртуальную апертуру. Ещё проще: это область с образом, видимая в окуляр. В нашем случае, входной зрачок — наш глаз, а выходным является проекция. Ключ к правильной работе всей системы, это расширение выходного зрачка через максимальное расширение области, доступной обзору человеческого зрачка с любой его позиции (англоязычный термин — «eye box»). Этого позволяет добиться регулировка линз в вертикальной и горизонтальной плоскостях. По словам Microsoft, у HoloLens самый большой eye box в отрасли.

Но это финиш, а старт расположен у проекторов, которые в Microsoft называют «световыми движками». HoloLens содержит LQoD-дисплеи, которые вы можете найти в обычном проекторе. Это два устройства с разрешением HD и соотношением сторон картинки 16:9 на дужке под инерциальным датчиком, о котором мы поговорим позже. Свет из проекторов должен пройти через объединитель — устройство, правильным образом комбинирующее проекцию и реальный мир.

HoloLens использует явление полного внутреннего отражения (ПВО), благодаря которому форма призмы может задерживать свет или направлять его в глаз. Работа с инфракрасным спектром позволяет использовать ПВО для окулографии.

Для передачи картинки в HoloLens используются линзы с призматическими структурами — волноводами. Их трудно изготовить прямо в стекле, поэтому инженеры покрывают линзы несколькими дифракционными решётками. Это очень важно делать правильно, иначе «голограммы» будут «плавать», а пользователя будет тошнить, причём в прямом смысле. Проходя через оптическую систему, изображение дифрагируется внутри волновода, отправляясь в точном направлении с определёнными цветами.

Сложность оптической системы познаётся в сравнении. В ВР-шлемах картинка с дисплея (дисплеев) проходит через линзы и попадает в глаза. HoloLens проецирует изображение, которое затем комбинируется, дифрагируется и расслаивается, чтобы вы видели трёхмерное изображение, органично вписывающееся в окружающее пространство.

По теме: Из чего состоят HoloLens (видео)

Три Д (Датчики Дают Добро)

Когда дело касается дополненной, виртуальной или смешанной реальности, датчики положения и пространства имеют огромное значение. Нужно ли следить за положением головы, окружающими предметами и людьми, проходимым расстоянием или глазами — скорость и точность датчиков делают компьютерное вмешательство реалистичным или превращают погружение в кошмар.

Панель датчиков HoloLens содержит по две камеры распознавания окружающей среды справа и слева, времяпролётную (time of flight — ToF) камеру глубинного зондирования, датчик внешней освещённости и двухмегапиксельную камеру для фото или видео в HD-разрешении. Некоторые детали массива куплены у сторонних поставщиков, другие же изготовлены самой Microsoft.

Камеры зондирования окружающей среды служат основой для трекинга головы, а времяпролётная камера играет две роли: помогает с отслеживанием движений рук и реконструирует окружающие поверхности, чтобы размещать «голограммы» на физических объектах (например, именно это является одной из основных функций камер Intel RealSense 400-й серии в Project Alloy).

Датчики работают совместно с описанной выше оптической системой и датчиком инерциальной навигации, установленным прямо над переносицей. HoloLens обрабатывает положение пользователя меньше чем за 10 миллисекунд, за счёт чего изображение не плывёт, а виртуальные объекты не летят вслед за поворотами головы. На самом деле, немного летят, но и HoloLens — пока прототип.

Холодная голова

Мы давно знаем, что HoloLens работает на мобильной системе на чипе Intel поколения Cherry Trail, и у нас практически не было данных по инерциальному модулю и голографическому процессору (ГП), который в мире за стенами Microsoft именуется процессором компьютерного зрения (пример — Myriad).

Очевидно (и подтверждено), что устройство получило специальную материнскую плату без радиаторов и вентиляторов охлаждения. На ней есть твердотельный накопитель на 64 ГБ формата eMMC и 2 ГБ оперативной памяти LPDDR3 — по гигабайту на центральный и голографический процессор. Архитектура — x86, а операционная система — Windows 10.

SoC остаётся неизвестным, но всё семейство Cherry Trail получило по четыре 14-нанометровых ядра Airmont. Слайды Microsoft позволяют утверждать, что чип подключён по PCIe к двум устройствам: контроллеру 802.11ac Wi-Fi/BT 4.1 LE и процессору компьютерного зрения. При этом только одна из двух компоновок Cherry Trail имеет пару портов PCIe — версия Type 4 на 289 квадратных миллиметра. По крайней мере на бумаге, эта версия доступна с максимум 16 графическими исполнительными блоками восьмого поколения. Intel HD Graphics имеет аппаратное ускорение HEVC и H.264, что сводит к минимуму энергозатраты на воспроизведение медиа. А укладка памяти в SoC и HPU экономит место на материнской плате.

Также Cherry Trail может похвастаться обилием интерфейсов ввода/вывода, полезных для HoloLens. Встроенный экономичный звуковой движок может кодировать и декодировать аудио для встроенных динамиков и с четырёх микрофонов. I²C-интерфейсы упрощают работу с датчиками температуры и освещённости. Поддержка MIPI CSI обеспечивает беспроблемное подключение к SoC камер. А SSD на 64 гигабайта подключается к кластеру управления внутренним хранилищем процессора через SDIO.

HPU

Голографический процессор версии 1.0 отвечает за сбор и обработку данных с различных камер HoloLens, чтобы отправить стройный обработанный код в центральный процессор. ГП произведён по 28-нанометровому техпроцессу TSMC. Его площадь составляет 144 квадратных миллиметра, большую часть из которых занимают 12 вычислительных узлов с 2 DSP-ядрами разработки Tensilica в каждом (24 ядра).

Microsoft использовала базовый набор инструкций Xtensa с примерно 300 расширениями для входного потока данных от различных подсистем шлема, которые комбинируются и выводятся на SoC в упрощённом формате. С самого начала в Рэдмонде не хотели загружать ни один вычислительный узел больше, чем на 50%, поэтому перегрузка HPU маловероятна и в будущем — всё сделано с запасом.

Компания также предъявила взыскательные требования к времени ожидания и рабочему циклу. Для их сокращения операции, которые не могут быть удовлетворительно произведены ядрами DSP, передаются на монофункциональные ускорители. Во многом это похоже на выделение транзисторов под конкретные задачи, такие как тесселяция или декодирование видео, в графике AMD и NVIDIA. Microsoft реализовала автономные ускорителями и блоки аппаратных средств, тесно связанные с ядрами DSP для ускорения производительности критически важных операций. Эта связка производит порядка триллиона операций с пикселями в секунду, то есть в 200 раз больше, чем при программной обработке.

Наряду с 1 гигабайтом оперативной памяти LPDDR3 в HPU между узлами расположилось 8 мегабайт SRAM. Последовательные интерфейсы позволяют устанавливать связь между голографическим процессором и подсистемами шлема: например, CSI от MIPI Alliance используется для сбора входящих данных от камеры глубинного зондирования и четырёх камер распознавания среды, MIPI-DSI соединяет два дисплея, инерциальный датчик общается с HPU по SPI, а температурный — по I²C.

HPU и SoC от Intel коммуницируют по шине PCI Express. Согласно спецификациям Atom Z8000, Cherry Trail предоставляет два корневых порта со скоростью до 5 гигатранзакций в секунду. Если данная информация соответствует имеющемуся в HoloLens, компоненты шлема передают друг другу код на скорости не больше 500 мегабайт в секунду. К сожалению, в Microsoft не подтверждают ни одну из спецификаций центрального процессора.

Не пропускайте важнейшие новости о мире дополненной и виртуальной реальности — подписывайтесь на Голографику в ВК, Twitter и Facebook!

Далее: Microsoft HoloLens: курс по ключевым функциям платформы

По материалам Tom’s Hardware

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Поддержи Голографику на Patreon!

Особенности

Отличаются очки дополненной реальности microsoft hololens от других устройств той же направленности в первую очередь тем, что они переняли у шлемов ВР возможность отслеживать мельчайшие перемещения в пространстве головы. Это делается при помощи простого гироскопа и акселерометра, и позволяет не только ускорить обработку данных в особых случаях, но и дополнить управления жестами – управлением при помощи движений головы.

Теперь очки виртуальной реальности воспринимают ваше одобрение и негодование при помощи кивков головой, и для подтверждения многих операций достаточно совершить небольшое движение.

Проецирование же данных происходит благодаря голографическому экрану, который запросто соединяет виртуальную и повседневную реальности, поэтому очки скорее являются «гибридным» устройством, ведь позволяют пользователю видеть не только прогноз погоды, но и добавлять различные предметы в своё окружение.

В hololens development edition разработчики ПО могут полностью насладиться открытым движком, а соответственно, компания убивает сразу двух зайцев одним выстрелом: получает постоянно обновляющийся список приложений для своего устройства и привлекает компании, а также стартапы к своему молодому проекту. Всё это позволяет верить в будущее и состоятельность продукта.

Для кого предназначено устройство?

Но устройство всё ещё имеет главный недостаток, который уже погубил многих его конкурентов – это цена, и на сей раз разработчики пошли по правильному пути, не позиционируя своё устройство изначально, как: «очки для каждого».

Действительно, цена в 300 тысяч рублей отпугнёт большую часть людей, однако на сей раз целевой аудиторией продукта стали именно разработчики и художники, которым подобное устройство предоставляет невероятные возможности для реализации своих идей. В первую очередь, прямо в рекламном ролике, компания указывает на то, что стоит купить очки ради возможности рассмотрения трёхмерных моделей вживую.

И это действительно может помочь многим разработчикам игр, облегчит жизнь аниматорам. Аппарат позволяет работать с объектом сразу в трёх измерениях, подобно тому, как строят конструкции с использованием 3-х мерной ручки.

Устройство отслеживает движение ваших зрачков и рук, самостоятельно рассчитывает расстояние до объекта, а переданные на компьютер данные уже изменяют персонажа или объект по вашему желанию. Конечно, в России мало студий смогут позволить себе такое новшество, но вот за рубежом, где на анимационные ленты от того же Disney тратятся суммы в несколько раз большие, чем годовой бюджет мелкого государства, такое новшество будет востребованным.

Опять же, продукт сразу позиционируется, как узкоспециализированный, что позволяет компании значительно увеличить прибыль, сократив производственные затраты, ведь его не поставляют в каждый магазин, и заказать в России такие очки можно лишь в интернете. Но у крупных компаний вряд ли возникнут проблемы с тем, где купить устройство, ведь Майкрософт напрямую сотрудничает и предоставляет продукт всем организациям, которым это необходимо, правда для этого нужно заказать целую партию очков.

Функционал

На сей раз устройство куда лучше набито различным функционалом и не ограничивается обычным прочтением информации с экрана или просмотром видео. В них была встроена собственная операционная система на основе Windows, и их главное предназначение – помощь в трёхмерном проектировании. Ну и, конечно же, их можно использовать, вместо вашего увесистого смартфона, для звонков и конференций в skype.

Сами очки считаются автономными, хотя заряда и хватает на день не слишком активного использования, однако они действительно не привязаны ни к телефону, ни к компьютеру. Все необходимые датчики и прочее железо сразу же находится в корпусе.

На сей раз дополненная реальность воспринимает не только голосовое управление, но и полноценную жестикуляцию, ведь в первую очередь они разрабатывались для упрощения трёхмерного моделирования и помощи верстальщикам. Но дополненную реальность сменила гибридная – теперь устройство способно самостоятельно проектировать любые трёхмерные объекты и привязывать их местоположение к конкретным координатам.

Однако за всё это приходится платить большими запросами по производительности и просто гигантскими габаритами устройства. Хотя компания и старалась сделать их максимально стильными, но они всё же выглядят очень громоздко и ощущаются также. Находиться и тем более путешествовать в них долгое время просто неудобно.

Есть ли будущее у Microsoft Hololens?

Для того чтобы узнать, «удалось» ли устройство на самом деле, необходимо подождать ещё примерно полгода, пока компания закроет квартал, и станут известны точные цифры. Но уже сейчас во многих издательствах публикуется информация о том, что «убыточная» пора прошла, и очки начали приносить прибыль компании.

И это могло бы стать хорошей новостью для технологии, ведь теперь мы наконец получили устройство, которое доказывает, что гибридная реальность – востребована потребителями, если бы не одно «но». Очки узкоспециализированы, и вряд ли вы найдёте хоть одного человека в РФ, который будет расхаживать в них по улице.

Да, обычное издание стоит чуть дешевле – если поищите, то наверняка закажите их и за более низкую цену, но вообще покупка может обойтись с сумм до 80 тысяч рублей. Финансовый успех действительно является реальным, но он совершенно никоим образом не продвигает технологии дополнительной реальности в массы, делая её не более чем игрушкой в руках богачей или очередным инструментом для творцов.

Средним классом очки по цене автомобиля вряд ли станут востребованы, и это – их главный минус. В остальном же, если вы занимаетесь анимацией и моделированием, то microsoft’s hololens приобрести стоит – они значительно упростят вам жизнь.

Обзор очков и технологии дополненной реальности Microsoft HoloLens

Очки дополненной реальности стали появляться относительно недавно. Некоторые пользователи сразу заинтересовались ими и приобрели подобные гаджеты. Действительно, это весьма интересно, а впечатления от таких устройств сильно отличаются, по сравнению со шлемами виртуальной реальности.

Многие пользователи уже давно ждали выхода подобного устройства от компании Microsoft. Недавно это событие наконец-то свершилось, и всему миру были представлены очки дополненной реальности Microsoft HoloLens, видео с их презентации сразу же набрало огромное количество просмотров. Многие пользователи уже хотят приобрести устройство Microsoft HoloLens (цена и дата выхода России, к сожалению, пока точно неизвестна). Итак, что же представляют собой эти очки? Можно сказать, что это настоящий компьютер в небольшом корпусе. Для его использования не требуется подсоединение к каким-либо другим устройствам, что очень удобно. Вам не потребуется ни компьютер, ни внешние камеры. Достаточно просто надеть гаджет на голову и окунуться в мир дополненной реальности.

Многие пользователи уже давно ждут выхода Microsoft HoloLens, обзор на русском языке появился еще давно, однако производители не спешат с официальным выпуском девайса.

Интересно, что в девайсе используется специальный процессор, который генерирует голографическое изображение. Также используется 2 обычных и 2 инфракрасных камеры. Они нужны для того, чтобы считывать предметы и ландшафт окружающего мира, а затем проецировать туда голографические изображения.

Чтобы лучше представить, о чем же идет речь, можно посмотреть множество видео, в которых рассказывается о том, что представляют собой эти очки – «Microsoft HoloLens possibilities» – по этому запросу можно найти массу интересной информации об устройстве.