По-настоящему широкая публика столкнулась с ней, когда Гугл захотел повесить нам на нос свои умные очки. После пришла эпоха смешных масок, которые делали из нас котиков, зайчиков и Леонардо Ди Каприо. Затем покемоны захватили обе реальности и заставили наматывать километры. А недавно Эппл показала ARKit, а Гугл — ARCore, и значит нас вот-вот накроет новая волна игр и приложений с применением дополненной реальности, возможности которой гораздо шире и полезнее для общества, чем ловля слоупоков.
Это популяризаторская статья. В ней нет подробного описания технической стороны, зато есть история развития ЭйАр, ссылки на упоминающиеся разработки и множество интересных иллюстраций.
Очень много картинок!

Что такое ЭйАр

Дополненная реальность — это среда, в реальном времени дополняющая физический мир, каким мы его видим, цифровыми данными с помощью каких-либо устройств — планшетов, смартфонов или других, и программной части. Например, Google Glass или шлем Железного Человека. Системы прицеливания в современных боевых самолетах — это тоже дополненная реальность.
Дополненную реальность (augmented reality, AR) надо отличать от виртуальной (virtual reality, VR) и смешанной (mixed reality, MR).
В дополненной реальности виртуальные объекты проецируются на реальное окружение.
Виртуальная реальность — это созданный техническими средствами мир, передаваемый человеку через (пока что) органы чувств.
Смешанная или гибридная реальность объединяет оба подхода.
То есть, виртуальная реальность создает свой мир, куда может погрузиться человек, а дополненная добавляет виртуальные элементы в мир реальный. Выходит, что ВиАр взаимодействует лишь с пользователями, а ЭйАр — со всем внешним миром.

История ЭйАр

Как многие другие интересные исследования, история манипуляций с реальностью начинается в научной фантастике. Автор «Волшебника страны Оз» Лайман Фрэнк Баум в романе «Главный ключ» описал некое устройство, способное помечать в режиме реального времени людей буквами, указывающими на их характер и уровень интеллекта. Примитивные инструменты дополнения реальности были известны задолго до того: это и маски, которые надевали римские лучники, чтобы лучше целиться, и подзорные трубы с нанесенными метками расстояний и так далее.
Но история дополненной реальности, какой мы ее знаем сейчас, берет начало из разработок, касающихся ВиАр. Отцом виртуальной реальности считается Мортон Хейлиг. Он получил это звание за исследования и изобретения, сделанные в 1950-х и 60-х годах. 28 августа 1962 года он запатентовал симулятор Sensorama. Сам Хейлиг еще называл его театром погружения.

Патент описывает виртуальную технологию, в которой визуальные образы дополняются движениями воздуха и вибрацией. Обоснование ее существования давалось такое:
«Сегодня постоянно растет спрос на методы обучения и тренировки людей таким способом, чтобы исключить риски и опасность реальных ситуаций»
Это было устройство ранней версии виртуальной реальности, а не дополненной, но именно оно дало толчок к развитию обоих направлений. Хейлиг даже изобрел специальную 3Д-камеру, чтобы снимать фильмы для Сенсорамы.

А вот в 1968-м году компьютерный специалист и профессор Гарварда Айван Сазерленд со своим студентом Бобом Спрауллом разработали устройство, получившее название «Дамоклов Меч». И это была первая система уже именно дополненной реальности на основе головного дисплея.

Очки были настолько тяжелыми, что их пришлось крепить к потолку. Конструкция угрожающе нависала над испытуемым, отсюда и название. В очки со стереоскопическим дисплеем транслировалась простая картинка с компьютера. Перспектива наблюдения за объектами менялась в зависимости от движений головы пользователя, поэтому понадобился механизм, позволяющий отслеживать направление взгляда. Для того времени это был фантастический прорыв.

Следующим шагом было создание Майроном Крюгером лаборатории с искусственной реальностью Videoplace в 1974-м году.

Его основной целью было избавить пользователей от необходимости надевать специальные шлемы, очки и прочие приспособления для взаимодействия с искусственной реальностью. В Видеоплейсе использовались проекторы, видеокамеры и другое оборудование. Люди, находясь в разных комнатах, могли взаимодействовать друг с другом. Их движения записывались на видео, анализировались и переводились в силуэты искусственной реальности. Пользователи видели, как их силуэты взаимодействуют с объектами на экране и это создавало впечатление, что они часть искусственной реальности. Хотя правильнее было бы назвать это проектом интерактивного окружения.
Спустя четыре года, в 1978-м, Стив Манн придумал первое приспособление для ЭйАр, которое не было прикручено к потолку. В EyeTap использовалась камера и дисплей, дополняющий среду в режиме реального времени. Это изобретение стало основой для будущих проектов, но массово не использовалось.
Первое массовое использование дополненной реальности стало возможно благодаря Дену Рейтону, который в 1982-м году использовал радар и камеры в космосе для того, чтобы показать движение воздушных масс, циклонов и ветров в телепрогнозах погоды. Там ЭйАр до сих пор используется таким образом.
В 90-е поиск новых способов использования продолжился, а ученый Том Коделл впервые предложил термин «дополненная реальность». Перед ним и его коллегой поставили задачу: снизить затраты на дорогие диаграммы, которые использовали для разметки заводских зон по сборке самолетов Боинг. И решением стала замена фанерных знаков с обозначениями на специальные шлемы, которые отображали информацию для инженеров. Это позволило не переписывать обозначения каждый раз вручную, а просто изменять их в компьютерной программе.

Дальше развитие происходило стремительно. Скачок, сделанный в производстве микропроцессоров, и, как следствие, во всем технологическим секторе, позволил сильно ускорить работы.
В 1993-м году в университете штата Колумбия Стив Файнер представил систему KARMA (Knowledge-based Augmented Reality for Maintenance Assistance, переводится примерно как «Интерактивный помощник по обслуживанию»), позволявшую через шлем виртуальной реальности увидеть интерактивную инструкцию по обслуживанию принтера.

А вот в 95-м Джун Рекимото собрал Navicam — прототип мобильного устройства дополненной реальности, какой ее сейчас знают пользователи смартфонов. Навикам представлял собой переносной дисплей с закрепленной на обратной стороне камерой, чей видеопоток обрабатывался компьютером и, при обнаружении цветной метки, выводил на экран информацию об объекте.

В 96-м году Джуном Рекимото и Южди Аятцука был разработан Матричный Метод (или КиберКод). Он описывает реальные и виртуальные объекты с помощью плоских меток наподобие QR-кодов. Это позволяло вписывать виртуальные вещи в реальный мир, просто перенося метки. Например, положить на пол листок с кодом, навестись на комнату камерой — и вот у вас в комнате стоит динозавр.
В 98-м году НФЛ впервые использовала дополненную реальность, разработанную компанией Sport Vision, в прямой трансляции спортивных игр. Во время матчей на картинку с камеры, обзорно показывающей игровое поле, добавлялись технические линии и информация о счете. О «волшебной желтой линии» есть старый сюжет.
В 99-м НАСА применила систему дополненной реальности в приборной панели космического аппарата Икс-38, который научился отображать объекты на земле вне зависимости от погодных условий и реальной видимости.
И в том же году Хироказу Като создал открытую библиотеку для написания приложений с ЭйАр-функционалом ARToolKit (еще на Гитхабе). В ней использовалась система распознавания положения и ориентации камеры в реальном времени. Это позволяло стыковать картинку реальной и виртуальной камер, что давало возможность ровно накладывать слой компьютерной графики на маркеры реального мира.
Можно сказать, что с релизом первой версии этой библиотеки начался современный этап активного развития дополненной реальности.

Как работает дополненная реальность

Если откинуть совсем уж древние реализации, то ЭйАр — это распознавание образов и отслеживание маркеров.
С распознаванием образов все более-менее понятно. Если приложение должно распознавать стол, то достаточно загрузить на сервер библиотеку фотографий столов, обозначить общую структуру, цвет, произвольные параметры и присвоить этому набору данных определенное действие при обнаружении на картинке.
Вторая часть — это отслеживание маркеров. Маркерами могут выступать как специально напечатанные изображения, так и любые объекты.
Обложку журнала приложение распозна́ет по простой форме с прямыми углами и конкретному рисунку, и будет отслеживать ее положение в пространстве, отмечая смещение относительно фона. В этом случае сама обложка и есть маркер.
Со специальными маркерами все обстоит еще проще. Допустим, мы хотим примерить автомобилю новые диски. Для этого нам достаточно наклеить на диски QR-метки и система автоматически поймет, что именно в этих местах следует вставлять в картинку изображение новых колес. Еще один пример: мы кладем метку на пол и приложение понимает, что эта плоскость и есть пол, и разместит на нем произвольные объекты.
Но маркеры везде не налепишь, а сделать уникальный маркер под каждую ситуацию и унифицировать всю систему слишком сложно.
Здесь на выручку приходит SLAM — метод Одновременной Локализации и Построения Карты, используемый для построения карты в неизвестном пространстве с одновременным контролем текущего местоположения и пройденного пути.

Звучит сложно. В упрощённом виде, Слэм — это способ распознавания окружения и местоположения камеры, путем разложения картинки на геометрические объекты и линии. После чего каждой отдельной форме система присваивает точку (или много-много точек), фиксируя их расположение в пространственных координатах на последовательных кадрах видеопотока. Таким образом, условное здание раскладывается на плоскости стен, окна, грани и прочие выделяющиеся элементы. А условная комната — на плоскости (пол, потолок, стены) и объекты внутри. Благодаря тому, что алгоритм позволяет запоминать положение точек в пространстве, вернувшись в эту же комнату из другой вы увидите точки на тех же местах, где они и находились ранее.
Особенно сильный толчок этот метод получил после того как производители смартфонов начали встраивать дополнительные камеры для расчета глубины резкости в свои аппараты.
Не стоит думать, что Слэм — это продвинутая версия обычного распознавания образов и отслеживания маркеров. Скорее, это инструмент, который намного лучше подходит для ориентации систем дополненной реальности в пространстве. Он дает приложению понять, где находится пользователь. Но намного хуже подходит для опознания, например, медведя на картинке.
Для максимальной эффективности оба подхода объединяют для конкретной задачи. Что приводит нас к современной ситуации.

Настоящее: от очков к телефонам

В самом начале развития ЭйАр было понятно, что ее успех будет зависеть от того, насколько удобно будет нашим глазам.
Еще в 1984-м году в фильме «Терминатор» Джеймса Кэмерона была визуализирована концепция дополненной реальности и компьютерного зрения. Но Кэмерон сильно опередил время, т.к. встроить ЭйАр прямо в глаз в те годы не представлялось возможным даже в смелых фантазиях. Идеалом виделись форм-факторы контактных линз или очков. Первое и сейчас лишь на стадии концептов, а вот по мере удешевления и появления более тонких производственных процессов форма очков становилась все ближе. С годами к ней окончательно прилип и второй вариант реализации: с помощью ставших вездесущими смартфонов.
Самым громким событием дополненной реальности последних лет стали вышедшие в 2013-м году очки Google Glass, с которыми есть небольшая путаница. Несмотря на то, что именно они многим первыми приходят на ум, когда речь заходит о дополненной реальности, к таковой эти очки отношения почти не имели. Виртуальная среда практически не взаимодействовала с реальной. Разве что навигацию можно причислить к ЭйАр-контенту, но и она была реализована в стиле карт для телефона, а не каких-нибудь висящих над дорогой стрелок.

Зато очки умели делать фото и снимать видео по команде, с автоматической отправкой в облако. Этот не ставший массовым эксперимент все же сделал свое дело: запустил волну, дав понять другим компаниям, что можно всерьез приниматься за разработку устройств дополненной реальности для масс.

Эстафету тут же приняла Майкрософт, через пару лет завуалированно анонсировавшая (а в 2016-м и представившая) очки смешанной реальности Hololens. Правда, только для разработчиков и журналистов. Продукт сложный, его до сих пор разрабатывают. Но в интернете много восторженных обзоров, где люди делятся своим опытом взаимодействия с виртуальной средой.

Хололенс не требуют подключения к другому ПК или телефону. У очков четыре камеры, с помощью которых они анализируют комнату и совмещают виртуальные объекты с реальным миром.
Очки позволяют практически полноценно работать с Windows 10, причем, название «Виндоус» обретает новый смысл: окна системы легко вешаются на стены на манер, собственно, окон. Очки запоминают помещение, поэтому, когда пользователь возвращается в ту же самую комнату, все окна приложений и прочие элементы смешанной реальности ждут его на своих местах.
Сейчас существует около десятка наиболее перспективных разработчиков и продуктов для дополненной реальности в форм-факторе очков: Vuzix, Sony, ODG, Solos.
Но один производитель подобрался наиболее близко к тому, что может быть не только технологично, но и удобно. Это — компания Magic Leap.

Первое концепт-видео
Запустившись в 2010-м году в атмосфере абсолютной секретности, она уже через пару лет собрала инвестиций более чем на полмилллиарда долларов от таких гигантов как Гугл и Куалком. Никто за пределами узкого круга инвесторов не знал, чем эта компания привлекла такое внимание и что у нее за продукт.
Но информация все-таки просочилась. А позднее было официально объявлено: компания работает над продвинутой версией очков дополненной реальности, которые на голову сильнее Гугл Гласс и Хололенс. И, в отличие от других производителей, в Мэджик Лип равное внимание уделяют как железу, так и ПО и интерфейсам. Несмотря на то, что компанию больше интересует индустрия развлечений, чем прикладное применение, на сегодняшний день она является лидером в удобстве пользовательских интерфейсов.
Но пока ЭйАр в основном встречается в телефонах. Это удобство, готовая техническая база, широкая распространенность устройств и простота написания ПО.
Заточенные под фото для соцсетей приложения предлагают примерно одни и те же функции: маски и помещение персонажей в пространство. То есть — развлечения. Но все больше компаний понимают важность этой ниши и представляют более утилитарные приложения:
AirMeasure — виртуальная рулетка, способная определять расстояния и размеры в 3д-окружении;
Google Translate умеет переводить текст, который видит камера, в реальном времени;
Sun Seeker помогает увидеть траекторию солнца на местности в любой день года;
Google Sky Map помогает узнать, какие звезды сейчас видно на небе.
Именно в мобильном сегменте сейчас сконцентрированы самые интересные ЭйАр-стартапы для массового рынка:
YouAR
6D
Selerio
Ubiquity6 и другие.
А одной из наиболее инвестирующих в технологию компаний является Фейсбук, который обкатывает новые идеи на своей массивной пользовательской базе.

Развлечения

Главная мобильная сфера, где себя нашла Дополненная Реальность — это, конечно же, развлечения.
Вы наверняка играли в шутеры от первого лица. Но вы когда-нибудь задумывались, что отображение количества патронов, здоровья и аптечек — это тоже дополненная реальность, только для вашего персонажа?
В начале 2000-х вышел ЭйАр-порт легендарной игры Квейк. Он так и назывался: ARQuake.

В наше же время можно и самому стать героем шутера. Например, в игре Father.IO. Такие проекты появляются все чаще.
В 2014-м вышла игра Night Terrors, один из первых популярных ужастиков в дополненной реальности. Попробуйте его ночью в каком-нибудь подвале — не забудете.
В 2016-м студия Nyantic выпустила наследницу своей игры Ingress и самую главную ЭйАр-игру, вероятно, на много лет вперед: Pokemon Go. Дополненная реальность, геотрекинг и популярная вселенная — все сложилось настолько удачно, что Покемон Гоу скачали более ста миллионов человек. Игра быстро стала феноменом и начала собирать вокруг себя скандалы, в том числе в России. Покемон Гоу уникальна еще и тем, что заставила миллионы людей гулять на свежем воздухе.

Настольные игры получили новую форму благодаря технологии.

Такие компании как Лего и Дисней активно ведут разработку игр с использованием ЭйАр, а намерения к ним присоединиться выразили практически все крупные производители игрушек. Исследовательские группы уже занялись сбором данных о том, как маленькие дети взаимодействуют с играми и приложениями дополненной реальности, и каким образом это влияет на их восприятие реального мира. Возможно, в будущем самые интересные идеи по развитию технологии будут звучать от тех, для кого эта самая технология была просто частью детства.

Именно развлечения сегодня развивают исследовательскую базу дополненной реальности. А благодаря колоссальным объемам данных, добровольно передаваемых людьми компаниям-разработчикам, технология в связке с машинным обучением делают шаги в сторону более серьезных областей.

От развлечений к реальной жизни

Справочная информация, объявления и виртуальные указатели обязательно войдут в наше виртуальное пространство. Виртуальный экскурсовод проведет нас по развалинам замка, да еще и покажет сценку, как именно этот замок развалили, и каким он был до того. Ну а социальные функции, вроде фильтра по статусу «в активном поиске», помогут найти вторую половинку прямо в толпе.
Ну и реклама. Вот уж какая сфера спит и видит скорейшее внедрение дополненной реальности в повседневную жизнь. А свежесть и новизна формата обеспечат вау-эффект. ЭйАр появилась даже в печатных изданиях. Например, в выпуске Эсквайра 2009-го года нужно было отсканировать обложку, и тогда на ней оживал Роберт Дауни младший.
Еще раньше ЭйАр и печатные издания скрестила БМВ, выпустившая в нескольких немецких журналах рекламу модели MINI, которая на экране становилась трехмерной и позволяла себя рассматривать со всех сторон.
А обложки, к слову, есть не только у журналов и книг. Для того, чтобы с вами начала разговаривать этикетка бутылки, сегодня не нужно даже пить.
Коммерческие возможности дополненной реальности настолько обширны, что сложно очертить границы. Даже граффити не осталось в стороне от ЭйАр-технологий.
ЭйАр может использоваться для быстрой примерки в магазинах: идея зайти в мебельный и тут же на тестовом стенде собрать себе комнату с мебелью и бытовой техникой, пользуясь подсказками по сочетаемости, напрашивается сама собой.
Более интересную и полезную идею воплотил маркетинговый отдел Икеи еще в 2014-м. Примерить мебель из каталога прямо к интерьеру своей комнаты оказалось крайне заманчиво.

Вдохновляют возможности ЭйАр в сфере образования.

Образование

Технология может занять ту нишу, которая в научной фантастике отдана голограммам. Только голограммы будут еще не скоро, а устройства вроде Хололенса технически почти готовы. Перспектива увидеть в вузах, а после и школах, виртуальные интерактивные иллюстрации, которые можно рассмотреть со всех сторон, с которыми можно взаимодействовать и тут же видеть результат своих опытов, представляется прекрасным далёко из светлых фантазий о будущем. Обучение любым инженерным специальностям может стать куда более наглядным и легким для понимания.
Еще одна важная сфера — медицина.

Медицина

Тут прямо глаза разбегаются от возможностей. Кроме максимально наглядного обучения студентов медвузов, сразу представляется визуализация данных прямо на пациенте, вместо расставленных вокруг экранов. УЗИ станет максимально наглядным. Ну и будущая мама будет счастлива получить на телефон трехмерного ребеночка, которого будет с радостью крутить и рассматривать, выискивая сходство того с отцом и собой.
Но одно дело УЗИ, которое не требует оперативного вмешательства, и другое — опасные для жизни пациентов операции, где наглядность может помочь врачу быстрее реагировать и точнее работать.

Наглядную анатомию в дополненном пространстве демонстрирует HoloAnatomy для Хололенса, который как раз и про медицину, и про образование. А заодно — и одна из знаковых демок для майкрософтовского шлема.

Менее драматично, но не менее полезно — помощники для слепых и глухих, сообщающих первым о предметах и событиях вокруг и показывающие субтитры вторым.
Например, стартап Aira одновременно предлагает нейросетевого помощника, распознающего и проговаривающего всё, что видит камера очков, и живого сотрудника стартапа, что поможет сориентироваться по той же камере в особо сложной ситуации. Система привязана к приложению для смартфона. Пользователь по подписке получает очки с камерой и возможность транслировать изображение с них дежурящим сотрудникам поддержки. Но постоянно созваниваться с ними нет нужды: голосовой ассистент Аиры распознает тексты и образы, перекрывая множество повседневных городских задач. Логично, что по мере развития компьютерного зрения надстройка с живыми сотрудниками будет все менее актуальна, но сегодня это хороший компромисс из человеческих и компьютерных ресурсов.
Ну и: у кого бюджеты больше, чем у рекламщиков и игроделов? У военных.

Военные технологии

И если системы наведения в боевых истребителях, дронах и танках для армии — это сегодня дело обычное, т.к. именно из ранних систем дополненной реальности для летчиков и росли другие военные проекты в этой области. Например, продвинутые системы дополненной реальности для пехоты, которые будут внедряться уже через пару лет.

Официальная фантазия армии США
В американской армии уже сегодня используется система HUD 1.0: сильно усовершенствованный прибор ночного видения, который также выполняет функции тепловизора и проецирует в монокль на шлеме целеуказатель, показывающий куда попадет пуля при текущем положении ствола.
Облегченные полуаналоги таких систем уже более пяти лет доступны на рынке. Баллистический калькулятор от компании TrackingPoint, фактически заменяет снайперу, ну или любому желающему, напарника-споттера.
На очереди — HUD 3.0, который должен выйти в следующем году. Он будет иметь возможность накладывать на реальную картинку полностью цифровые слои местности, модели зданий, планы этажей, позиции врагов и даже самих врагов. А это уже заявка на удешевление военных учений. Военные игры обходятся государственным бюджетам в колоссальные суммы каждый год, а с помощью систем дополненной реальности солдаты смогут тренироваться с условным противником не покидая пределов базы.
Российская армия разрабатывает похожие системы для саперов.

Конечно, хотелось бы, чтобы технологии получали развитие не благодаря военным проектам и интересам, но если вспомнить историю, то многие изобретения находили широкое мирное применение, несмотря на военные корни и прошлое. Например, микроволновки, тефлон и интернет.

Будущее

Резюмируя, дополненная реальность — это не только игры и селфи с виртуальными масками. Это гигантское количество возможностей для коммерческого применения, новые горизонты в образовании, промышленности, медицине, строительстве, торговле и даже туризме. И дальше должно быть только интереснее.
Коммерческий рост ЭйАр поразителен. Ей, в отличие от виртуальной реальности, необязательно опираться на специализированное железо и громоздкие устройства. Технология прекрасно работает на самом массовом носимом девайсе — смартфоне.
Дополненная реальность уже меняет наше настоящее: виртуальные маски, охота за покемонами по городам и болотам, дети, стреляющие друг в друга не из деревяшек, а через экран телефона. Сейчас это уже реальность.
Следующий шаг — массовый выход ЭйАр из зоны развлечений и соцсетей в сектор информационной поддержки. Автопроизводители (пока лишь Хендай, БМВ и Ауди, но список растет) начинают выпускать приложения-дополнения к пользовательским инструкциям, помогающие владельцам наглядно изучить свой автомобиль. Все больше производителей техники начинают выпускать приложения для ремонтных мастерских, которые помогают мастерам ориентироваться во внутреннем устройстве сложных приборов. Амазон думает над тем, чтобы облегчить жизнь покупателям: понравились кеды на прохожем — навел на того телефон и тут же заказал себе такие же.
Сегодня мы с вами живем во время бурных исследований в отрасли. Даже у технологических гигантов нет ясной картины дальнейшего развития дополненной реальности. Это время непрерывного рождения идей, нахождения неожиданных способов применения и осознания всей мощи этой фантастической когда-то технологии — дополненной реальности.

Ролик

Эту статью об ЭйАр я подготовил для Хабра, но изначально мы делали ролик. В нем закадровый текст с техническими, историческими и просто красивыми иллюстрациями.

Благодаря сферам дополненной реальности и искусственного интеллекта Bippar открывает вам новые визуальные возможности, обогащая ваш опыт и знания об окружающем мире. Добро пожаловать в мир людей будущего!
Откройте для себя опыт дополненной реальности, взаимодействуя с предметами ежедневного обихода и инфраструктурными объектами при помощи приложения Bippar. Сканируйте и увидите, что вы сможете обнаружить. Возможно, вы увидели знаменитость, но не знаете куда ее поместить? Логотип, о котором вам хочется узнать больше, или этого восхитительного пса? Или автора этой изумительной картины? Сканируйте их при помощи Bippar, чтобы узнать больше.
Сканировать при помощи Bippar очень просто:
1. Загрузите, затем коснитесь и удерживайте практически любой объект и смотрите, что вы обнаружили (возможно, мы не всегда идеально точны, но мы над этим работаем!). Попробуйте просканировать любое знакомое лицо, собаку, машины (только производства США), достопримечательности, цветы, предметы ежедневного обихода… и даже банан!
2. Ищите логотип Blippar на упаковке, товарах, журналах и афишах. Сканируйте предмет, как указано в инструкции, чтобы испытать невероятные ощущения дополненной реальности.
Подпишитесь на @blippar в «Инстаграм» и «Твиттер», ставьте лайки на наши публикации в «Фейсбук» или посетите нашу веб-страницу blipp.it, чтобы получить больше объектов дополненной реальности.
Для вопросов и обратной связи пишите нам на электронную почту android@blippar.com

Дополненная реальность – одна из многих технологий взаимодействия человека и компьютера. Ее специфика заключается в том, что она программным образом визуально совмещает два изначально независимых пространства: мир реальных объектов вокруг нас и виртуальный мир, воссозданный на компьютере.

Новая виртуальная среда образуется путем наложения запрограммированных виртуальных объектов поверх видеосигнала с камеры, и становится интерактивной путем использования специальных маркеров.

Дополненная реальность уже много лет используется в медицине, в рекламной отрасли, в военных технологиях, в играх, для мониторинга объектов и в мобильных устройствах.

Основа технологии дополненной реальности – это система оптического трекинга. Это значит, что «глазами» системы становится камера, а «руками» — маркеры. Камера распознает маркеры в реальном мире, «переносит» их в виртуальную среду, накладывает один слой реальности на другой и таким образом создает мир дополненной реальности.

Существуют три основных направления в развитии этой технологии:

«Безмаркерная» технология AR

«Безмаркерная» технология работает по особым алгоритмам распознавания, где на окружающий ландшафт, снятый камерой, накладывается виртуальная «сетка». На этой сетке программные алгоритмы находят некие опорные точки, по которым определяют точное место, к которому будет «привязана» виртуальная модель. Преимущество такой технологии в том, что объекты реального мира служат маркерами сами по себе и для них не нужно создавать специальных визуальных идентификаторов.

AR технология на базе маркеров

Технология на базе специальных маркеров, или меток, удобна тем, что они проще распознаются камерой и дают ей более жесткую привязку к месту для виртуальной модели. Такая технология гораздо надежнее «безмаркерной» и работает практически без сбоев.

«Пространственная» технология

Кроме маркерной и безмаркерной, существует технология дополненной реальности, основанная на пространственном расположении объекта. В ней используются данные GPS/ГЛОНАСС, гироскопа и компаса, встроенного в мобильный телефон. Место виртуального объекта определяется координатами в пространстве. Активация программы дополненной реальности происходит при совпадении координаты, заложенной в программе, с координатами пользователя.

Стараясь исключить технологические риски и обойти проблемные моменты, при разработке прототипа программного комплекса, мы остановили свой выбор на надежной и проверенной маркерной технологии дополненной реальности.

Так же, использование маркерной технологии имеет дополнительные преимущества в плане внедрения в методическую часть наглядных печатных материалов, используемых в общеобразовательных учреждениях при изучении конкретной темы и проведении практических работ по ней.

Примеры приложений с AR технологиями

Оборудование для AR технологий

Для работы с технологией дополненной реальности обязательно необходимы следующие компоненты:

• Графическая станция. Это может быть мобильный телефон, ноутбук, персональный компьютер, графическая рабочая станция с профессиональной видеокартой. Одним словом, компьютер.
• Дисплей. Экран телефона, телевизор, монитор, моно или стерео дисплей, проекционный экран.
• Камера. Благодаря камере мы получаем «слепок» реального мира, на который специальное программное обеспечение накладывает виртуальные объекты.
• Метки, или маркеры.
• Программное обеспечение. Математические алгоритмы, которые позволяют камере увидеть и распознать метку (маркер) в окружающем пространстве, а затем определить, какая именно модель программно «привязана» к метке. И, наконец, «положить» эту модель на метку таким образом, чтобы виртуальный 2D или 3D объект повторял любое движение реальной метки.

Технология дополненной реальности это, в основе своей, программное обеспечение. То есть это специальные математические алгоритмы, которые связывают камеру, метки и компьютер в единую интерактивную систему.

Основная задача системы – определить трехмерное положение реальной метки по ее снимку, полученному с помощью камеры. Процесс распознавания происходит поэтапно. Сначала снимается изображение с камеры. Затем программа распознает пятна на каждом кадре видео в поисках заданного шаблона – рамки метки. Поскольку видео передается в формате 2D, то и найденная на кадре рамка метки определяется как 2D контур. Как только камера «находит» в окружающем пространстве рамку, ее следующая задача – определить, что именно изображено внутри рамки. Как только сделан последний шаг, задача системы – построить виртуальную 3D модель в двухмерной системе координат изображения камеры. И привязать ее к метке.

После этого, как бы мы ни передвигали метку в реальном пространстве, виртуальная 3D модель на ней будет точно следовать за движением метки.

К сожалению, маркерная технология, как и любая другая технология, имеет ряд возможных проблем в работе с метками. Бывает, что при движении метки объект может «соскочить» с нее или вовсе исчезнуть с экрана. Это означает, что камера просто перестала «видеть» метку. Есть пять основных причин для этого.

Первое, в чем может заключаться проблема, это освещение. Затемненная зона, слишком яркое направленное освещение, лампа дневного света, светочувствительность камеры, — все эти параметры напрямую влияют на уровень распознавания метки.

Вторая проблема – это расположение реальной метки в пространстве по отношению к камере. Поскольку камера должна четко и целиком видеть рамку метки, она не сможет распознать ее, если метка будет под наклоном или если область рамки будет закрыта, например, рукой. Еще одна причина – слишком быстрое перемещение метки из стороны в сторону. Большинство любительских камер просто не успевает отследить ее перемещения по частоте кадров в секунду и «теряет» метку вместе с моделью.

Если первые две сложности легко устранить, просто следуя инструкции по применению, то есть и третья, более серьезная проблема. Она связана с калибровкой камеры. Калибровка нужна, чтобы построить модель реальной камеры в компьютерном пространстве.

Для того чтобы добавить перспективу и глубину в 2D картинку, которая отображается с камеры на экран, нужно определить параметры перспективной проекции для камеры. Это можно сделать в домашних условиях, используя «шахматную доску» и специальное программное обеспечение.

Еще одна проблема, которая часто относится к web-камерам, — это низкое разрешение камеры. Любительская оптика, тем более встроенные камеры на ноутбуках, как правило, не обладают хорошими объективами с высоким разрешением. Поэтому они дают больше нелинейных искажений и проблем в работе с метками дополненной реальности. Например, если метка будет находиться слишком далеко от камеры или на границе ее видимости, то последняя ее просто «не увидит». Этот вопрос решается покупкой камеры с более высоким разрешением и ее последующей калибровкой.

И последняя проблема – это программное обеспечение. Некоторые алгоритмы распознавания могут иметь ошибки и давать погрешности во время распознавания рамки и «чтения» картинки метки. В этом случае модели могут отображаться некорректно (например, на метке с совой может появиться совсем другой объект) или вовсе исчезать с экрана.

Аппаратная часть, для реализации базовых функций технологии дополненной реальности должна решать 3 основных задачи: получать видеопоток хорошего качества, иметь возможность обработать данный видеопоток и дополнить слоем с виртуальными объектами и, конечно же, вывести обработанные данные на устройства вывода для восприятия конечным пользователем.

Не так давно мы рассказывали о том, что с помощью нашего сайта https://manager.animarmedia.com/ любой желающий может создать, буквально своими руками, дополненную реальность. Мы готовы наглядно показать вам, что всего за пару минут вы легко и просто это сделаете. На видео создание бабочки

Напоминаем основные 3 шага на пути к созданию собственной высококачественной дополненной реальности:

1. Зарегистрируйтесь на сайте https://manager.animarmedia.com/

2. Загрузите ваши модели (видео, изображения в любом формате)

3. Скачайте сгенерированный QR-код и активируйте его нашим бесплатным приложением Animar.

В Вашем распоряжении:

— Необходимое вам число наборов;

— Приложение Animar для показа дополненной реальности, доступное на AppStore и Google Play;

— Облачная база данных;

— Поддержка.

Не важно для чего бы вы хотели использовать свой AR-проект, — для личных целей или для бизнеса, — наша платформа предоставит вам полный набор функций дополненной реальности, с помощью которых вы сможете протестировать, поиграть и произвести неизгладимые впечатления на ваших клиентов, партнёров и друзей.

Дополненная реальность (AR)

Технологии дополненной реальности появились относительно недавно, терминология еще не устоялась, подробно об этом говорится в статье «Дополненная, виртуальная и прочие реальности». Википедия дает следующие определения.

Дополненная реальность (augmented reality, AR) — результат введения в поле восприятия любых сенсорных данных с целью дополнения сведений об окружении и улучшения восприятия информации.
Термин «дополненная реальность» предположительно был предложен исследователем корпорации Boeing Томом Коделом (Tom Caudell) в 1990 году.

Существует несколько других определений дополненной реальности. В частности, исследователь Рональд Азума (Ronald Azuma) в 1997 году определил её как систему, которая:

1) совмещает виртуальное и реальное;
2) взаимодействует в реальном времени;
3) работает в 3D.

В концепции Пола Милграма (Paul Milgram) и Фумио Киширо (Fumio Kishino) дополненная реальность является частью смешанной реальности, которую также называют гибридная реальность (hybrid reality).
Эта концепция была предложена еще в 1994 году. Но, начиная с 2016 года, компания Microsoft начала активно использовать термин «смешанная реальность» для продвижения на рынке своего продукта HoloLens. И теперь некоторые эксперты (и поставщики оборудования) подразделяют термины следующим образом:

Дополненная реальность (AR) — проецирование любой цифровой информации (изображения, видео, текст, графика и т.д.) поверх экрана любых устройств. В результате реальный мир дополняется искусственными элементами и новой информацией. Может быть реализована с помощью приложений для обычных смартфонов и планшетов, очков дополненной реальности, стационарных экранов, проекционных устройств и других технологий.

Смешанная реальность (MR) — проецирование трехмерных виртуальных объектов или голограмм на физическое пространство. Позволяет перемещаться вокруг виртуального объекта, осматривать его со всех сторон и, при необходимости, внутри. Требует, как правило, специального оборудования (очков или шлемов).

Именно этими определениями мы и будем руководствоваться в этой статье; речь в ней пойдет в основном о дополненной реальности.

Как работает технология AR

Общая схема создания дополненной реальности во всех случаях такова: камера устройства AR снимает изображение реального объекта; программное обеспечение (ПО) устройства проводит идентификацию полученного изображения, выбирает или вычисляет соответствующее изображению визуальное дополнение, объединяет реальное изображение с его дополнением и выводит итоговое изображение на устройство визуализации.
Несколько подробнее технологию создания дополненной реальности мы рассмотрим на примере использования ее для диагностики промышленного оборудования или управления им.

Для работы с AR на производстве используется смартфон, планшет или смарт-очки с видеокамерой и соответствующим ПО. Если объектив видеокамеры направлен на объект (единицу оборудования), ПО распознает его или по заблаговременно установленному маркеру, или после анализа формы объекта.
Распознав объект, ПО подключается к трехмерному цифровому двойнику объекта, размещенному на сервере предприятия или в облаке.
Затем устройство AR загружает необходимую информацию и накладывает ее на изображение объекта. В результате сотрудник предприятия видит на экране (или через очки) отчасти физическую реальность, отчасти цифровую. При этом оператор, управляющий данной единицей оборудования, и техник-ремонтник, глядя на один объект, будут видеть разную дополненную реальность, в соответствии с выполняемыми функциями. Ремонтник может видеть данные о наработке или, допустим, рабочей температуре того или иного узла обслуживаемого оборудования. Оператору устройство AR может помогать управлять объектом — посредством сенсорного экрана, голосом или жестами. При движении сотрудника размер и ориентация дисплея AR автоматически корректируются, ненужная информация исчезает, а новая появляется.

Трехмерная цифровая модель создается либо при помощи САПР (обычно еще на этапе разработки объекта), либо путем оцифровки данной единицы оборудования. Этот цифровой двойник собирает информацию о состоянии объекта, получаемую от него самого, из информационных систем и из внешних источников. С его помощью ПО дополненной реальности масштабирует и точно размещает на изображении объекта или вокруг него актуальные данные.2

Пример использования AR в решении SmartEAM компании IT-Enterprise на предприятии ИНТЕРПАЙП СТАЛЬ

Устройства, реализующие AR

Устройства, способные создавать дополненную реальность, можно разделить на следующие группы.

Мобильные устройства. К ним относятся планшеты, смартфоны, очки и, в перспективе, линзы дополненной реальности.

На планшеты и смартфоны должно быть установлено специализированное ПО. Например, на смартфоны и планшеты можно устанавливать браузеры дополненной реальности, такие как Wikitude, Layar, Blippar, или специальные приложения (в частности, City Lens для Windows Phone). Эти браузеры могут показывать ближайшие к месту нахождения пользователя достопримечательности, магазины, кафе, пункты проката, пункты обслуживания и т.п., а также выполнять другие полезные функции.3

Очки дополненной реальности — это отдельное полноценное устройство, разработанное непосредственно для работы с AR. Они, в большинстве своем, умеют проецировать голограммы и информацию в реальное пространство, но не привязывают их к физическим объектам. Фактически это просто экран перед глазами. Наиболее известны очки Google Glass (в 2018 г. обычным пользователям были доступны версии 2.0 и 3.0, компаниям — версия 2017-го года, Google Glass Enterprise Edition). С ними конкурируют Vuzix Blade, Epson Moverio, Sony SmartEyeglass. По сравнению с Google Glass эти и другие очки дополненной реальности дешевле и доступнее — обычные пользователи могут купить их на официальных сайтах.
А вот очки Microsoft HoloLens, Magic Leap One и Meta 2 — это уже очки смешанной реальности, т.е. они позволяют работать с виртуальными объектами, привязанными к реальному миру.4

Линзы для дополненной реальности пока еще остаются технологией будущего. Разработчики стремятся превратить линзы в прозрачный экран, содержащий систему управления, миниатюрную камеру, антенну, светодиоды и другие оптоэлектронные компоненты. В частности, компания Samsung уже подала патент на «умные» контактные линзы, работы в этом направлении ведет и компания Google. Но на рынок подобные устройства выйдут не ранее чем 5–10 лет.5

Стационарные устройства. Это может быть телевизор, экран компьютера, игровой компьютер типа Kinect. На экран телевизора выводится уже дополненное изображение (особенно часто это бывает во время трансляции футбольных и хоккейных матчей), пример для компьютера — карты Google в режиме «Satellite», когда на спутниковый снимок накладываются названия улиц и достопримечательностей. Иногда используются широкоформатные экраны, а также проекционные системы, способные накладывать изображения не только на экраны, но и на любые поверхности.

Специальные средства. К ним относятся, например, специализированные шлемы военных пилотов. На стекло шлема выводится необходимая пилоту важная информация, и он может воспринимать ее, не переводя взгляд на приборную панель, экономя тем самым драгоценные секунды. Многие подобные системы позволяют осуществлять целеуказание путём поворота головы или движением глазных яблок пилота. Шлем пилота истребителя пятого поколения F-35 использует настолько современные технологии, что пилот может видеть даже сквозь непрозрачный корпус самолёта. Это самый дорогой шлем в мире — его стоимость превышает 400 тыс. долл. А британские инженеры разработали для военных пилотов шлем с уже встроенной системой ночного видения.6
На защитном стекле «умного мотошлема» может отображаться скорость мотоцикла, маршрут, текстовые сообщения и многое другое. Похожую технологию используют и для отображения информации на лобовом стекле автомобиля.7

Дополненная реальность в промышленности

Компания Boeing на протяжении последних 20 лет искала систему, способную сократить время на производство кабельных жгутов и устранение ошибок при их изготовлении. Бортовые системы самолетов содержат множество компонентов, связанных между собой проводами и кабелями. Их общая длина в самолёте Боинг-747, например, составляет 250 километров.8 Укладка и соединение проводов производится по специальному шаблону, после чего их скрепляют в жгуты, а на концы кабелей устанавливают разъемы. Такая работа занимает длительное время и чревата ошибками. В начале 2014 г. компания внедрила решение дополненной реальности на платформе очков Google Glass. За счет внедрения технологии AR удалось сократить время производства на 25% и снизить количество ошибок на 50%.9

Компания Lockheed Martin использует технологии дополненной реальности при сборке самолета F-35. В качестве основной платформы используются AR-очки Epson Moverio BT-200, оборудованные датчиками движения и глубины. Когда техник монтирует на шасси деталь тормоза, в очках он видит все данные о том, где и в каком порядке нужно проводить сборку и подсоединять кабели. По данным компании NGRAIN, внедрившей эту систему, программное обеспечение позволяет инженерам работать быстрее на 30% и с точностью до 96%.10 (Стоит отметить, что компания Lockheed Martin с успехом использует также и технологию VR, подробнее об этом говорится в статье «Виртуальная реальность».)

Концерн Fiat Chrysler Automobiles (FCA) применил в своей работе проекционную AR-систему OPS Solutions. Теперь на каждом этапе сборочного процесса рабочие получают наглядную информацию о своем следующем шаге.

Машиностроительное предприятие AGCO (США) в 2015 г. оснастило участки большими дисплеями, на которые выводился трехмерный состав изделий и полный комплект документации, необходимый для быстрой и качественной сборки изделий (тракторов и другой сельскохозяйственной техники). В 2017 г. предприятие перешло на использование очков Google Glass, благодаря чему контроль качества ускорился на 20%.

Портативные виртуальные визуализаторы PVAITV и MibiPV, разработанные специально для инженеров и IT-специалистов, позволяют сканировать оборудование и выявлять ошибки/поломки, которые необходимо устранить. Программа указывает, где находится поврежденный разъем или выдернутый шнур.11

Рабочие General Electric при сборке ветряных турбин на заводе во Флориде связываются с экспертами через очки дополненной реальности, показывают собираемое оборудование в поле зрения и получают ответы на вопросы от специалистов, конструировавших турбины, с помощью тех же очков. Анализ показывает рост производительности на 34% по сравнению с использованием предыдущих технологий сборки оборудования.12

Помимо все более активного применения в промышленности дополненная реальность используется в компьютерных играх, маркетинге (в частности, в уличном маркетинге, когда большой экран с AR выставляется в людном месте), в моде, социальных сетях, медицине и хирургии, туризме, в прессе, музейном деле — и список примеров применения AR постоянно пополняется.13

Финансовые перспективы (AR как J-технология)

По данным консалтинговой фирмы Digi-Capital, в 2017 году инвесторы в США вложили в VR- и AR-стартапы свыше $3 млрд. В итоге рынок значительно превзошел прогнозы. Но вместе с тем рынок VR/AR весьма нестабилен и «разогревается» разовыми крупными сделками, а инвестируют в него в основном венчурные инвесторы. При этом значительный объем средств инвесторов приходится на долю стартапа Magic Leap. За несколько лет проект суперсекретных очков дополненной реальности получил свыше $2 млрд. от компаний Google, Alibaba, Qualcomm и саудовских фондов. В чем причина такой щедрости? Основатель компании Рони Абовитц после ряда исследований пришел к выводу, что мозг использует далеко не все данные, поступающие в него через зрительную систему. Поэтому для новой технологии можно использовать не всё световое поле, а лишь избранные биты информации, которые будут правильно интерпретироваться зрительной корой. И тогда можно избавиться от дисплеев и полагаться непосредственно на глаза пользователей. Так что инвесторы знали, во что вкладывают деньги. Разработка длилась в течение 7 лет, заказы на первые образцы для разработчиков ценой 2295 долл. начали принимать в августе 2018 г.14

Что касается рынка в целом, то он также пока нестабилен. Так, если в июле 2017 г. аналитики компании IDC полагали, что мировой объем продаж товаров и услуг, связанных с технологиями дополненной и виртуальной реальности (AR/VR), с 11,4 млрд. долл. в 2017 году вырастет почти до 215 млрд. долл. в 2021 году и в среднем объем рынка будет ежегодно расти на 113,2%,15 то в 2018 г. их оценки изменились. По новым прогнозам, с 2017-го по 2022 годы мировой рынок технологий дополненной (AR) и виртуальной (VR) реальности будет расти в среднем на 71,6% в год. Итого — 106 млрд. долл. в 2022 г., а не 215 млрд. долл. в 2021 г.16

Аналитики компании Digi-Capital дают несколько иные оценки: к 2020 году стоимость рынка VR составит $30 миллиардов, а AR — $90 миллиардов. Однако Джесси Шелл, генеральный директор Schell Games и профессор Университета Карнеги-Меллон, считает, что это «крайне неверный прогноз». Он полагает, что рынок будет развиваться очень медленно. А значит, стартапам стоит учесть, что суровые времена затянутся на более длительный период, чем планировалось. Шелл считает, что к 2025 году доля прибыли AR составит 15% от дохода рынка VR, то есть примерно $1,1–$3,3 млрд. Рынок дополненной реальности по-прежнему будет небольшим, и его ждут трудности. По словам Шелла, пройдет еще много лет, прежде чем технологии разовьются настолько, чтобы создать очки дополненной реальности, которые не отличались бы от обычных очков.17

Однако Тим Кук, генеральный директор компании Apple, неоднократно заявлял, что AR на данный момент является самой перспективной технологией. По его словам, дополненная реальность — настолько же грандиозная идея, как и создание смартфона. Периодически в сети появляются сведения о работе Apple над очками дополненной реальности, предполагаемая дата выпуска — конец 2019 г.18

Павел Биленко, основатель инженерного центра ТЕКНЕР, считает, что AR — одна из J-технологий с ускоренной диффузией. Скорость диффузии технологий — это время, за которое технологии начинают активно использоваться большинством потребителей. За последние 110 лет скорость диффузии потребительских технологий стремительно росла, и сейчас кривая развития некоторых из них по форме напоминает букву J, т.е. технология за считанные годы после рождения становится ключевым конкурентным преимуществом компании.
Еще один немаловажный факт, говорящий о безусловной перспективности AR — оздание в 2015 году альянса Augmented Reality for Enterprise Alliance (AREA). В этот альянс входят такие крупные компании, как Bosch и Boeing. Цель альянса — бесплатный (для американского рынка) и открытый обмен лучшими практиками, извлеченными уроками и технологическими ресурсами, которые будут помогать предприятиям эффективно внедрять AR.19 11-го апреля 2017 года объявлено о разработке участниками этого альянса ключевых отраслевых руководящих документов. Документы разрабатывались при содействии UI Labs, Lockheed Martin, Caterpillar и Procter & Gamble.

Ссылки: