23 января 2018

Берёзки NEWS №17

В Qualcomm рассказали, что испытает человечество, когда Snapdragon 845 ворвется в виртуальное пространство. Или как не удариться об стену и не выйти из окна, находясь в VR-очках.

Хьюго Сварт (Hugo Swart), старший директор по управлению продуктами Qualcomm, не скупится на комплименты самому себе (здесь и далее курсивом отмечены его высказывания).

Хьюго всем доволен

Представьте себе, как будет выглядеть мир, когда размоются границы физического и цифрового мира благодаря неограниченной виртуальной реальности (VR) и улучшению уже существующих объектов вокруг нас (AR).

На выставке Augmented World Expo в начале этого года мы пришли к выводу, что «XR» — это новый термин, который уже используется для описания суммы технологий AR, VR и всего между ними. По данным TechCrunch, XR является быстрорастущим мобильным рынком, ведь в случае объединения VR и AR их общий рынок составит 108 миллиардов долларов к 2021 году.

Признавая это, мы выпустили более 20 XR-платформ для автономных шлемов виртуальной реальности (Head Mounted Display (HMD)) и XR-совместимых смартфонов для наших клиентов, а разработка новых концепций и устройств происходит прямо сейчас. Мы тесно сотрудничаем с некоторыми из самых влиятельных в мире компаний, связанных с XR, среди них Google, HTC Vive и Oculus. Также поддерживаем Facebook, Samsung, ODG и многие другие. Кроме того, у нас есть программа по ускорению разработки и внедрению в производство устройств виртуальной реальности, которая поддерживает клиентов для быстрой коммерциализации с использованием эталонного дизайна, квалифицированных ODM и соавторов технологий.

Вышесказанное следует отнести в разряд «для инвесторов и клиентов», но в начале этого года Qualcomm просто брызжет информацией и дает ответы на более интересные вопросы.

Как не воткнуться головой в реальную стену, находясь в виртуальном пространстве?

Когда мы находимся в виртуальной реальности, наше устройство должно уметь создавать и обновлять карту окружающего пространства в режиме реального времени и одновременно отслеживать свое местоположение внутри нее.

Стадия 1 — Захват изображения

Для решения этой задачи Snapdragon 845 оснастили 6-позиционной системой сканирования и навигации окружающего пространства (6DoF with SLAM). Иначе назвать этот комплекс устройств невозможно, а английский термин Room-Scale не очень-то подходит в прочтении на русском языке.

Стадия 2 — Cканирование пространства и построение его 3D-карты

Используя систему «6DoF with SLAM» в составе Snapdragon 845, вы будете видеть препятствия и избегать их, когда приблизитесь к ним слишком сильно. Вы также можете высчитать размер комнаты, сканировать объекты в ней, чтобы избежать их, и интегрировать объекты реального мира в свой виртуальный мир. Если вы «Trekkie» (жаргонное обозначение фаната фантастического сериала), то вы заметите некоторое сходство с голографической комнатой на космическом корабле Enterprise (holodeck):

Стадия 3 — Наложение фона на физические границы виртуального пространства

Qualcomm Snapdragon 845 способен передавать изображение в качестве 4 миллиона пикселей на каждый глаз. Для понимания вопроса – перед каждым глазом будет находиться монитор с разрешением 2560×1440 пикселей (3,7 MP). Для реализации этой тяжелой вычислительной задачи одного центрального процессора мало, в Snapdragon 845 свою лепту вносят все вычислительные блоки, включая сигнальные Qualcomm Spectra 280 ISP и Qualcomm Hexagon 685 DSP.

Стадия 4 — Наложение текстур на предметы обстановки. Можно присесть на камень и полюбоваться горными видами

Суем руки в виртуальное пространство

Для полноценного взаимодействия с виртуальной средой просто необходимо, чтобы VR-устройство отслеживало положение наших рук, ведь трудно придумать более удачный вариант виртуальных манипуляторов.

Для решения этой задачи существует множество технологий, и в Qualcomm сделали ставку на сотрудничество со всеми профильными компаниями-разработчиками, при этом отдавая предпочтение Leap Motion. На приведенном ниже ролике показана реализация взаимодействия рук в виртуальном пространстве на примере учебной программы для будущих кардиологов «Think F.A.S.T.». Студентов погружают в виртуальное пространство, с которым они могут взаимодействовать, используя собственные руки. Обратите внимание – на руках нет никаких проводов, датчиков или антенн:

Основной задачей, которую решают разработчики, является минимизация задержек при машинном «узнавании» объектов как человеческих рук.

Фокус-покус с фокусировкой

Человеческий глаз не видит весь мир перед собой с одинаковым качеством. Ближе к периферии зрения картинка всегда обрабатывается с меньшим качеством, чем в фокусе. Между тем, все VR-очки и шлемы выдают изображение с одинаковым качеством на всей площади дисплея. В Qualcomm разработали и реализовали в Snapdragon 845 технологию «Adreno Foveation».

Суть ее заключается в том, что устройство виртуальной реальности отслеживает направление взгляда пользователя и строит картинку в этом месте с максимальной детализацией объекта. Это высвобождает вычислительные ресурсы и ускоряет все процессы визуализации. И делает виртуальный мир еще более похожим на настоящий.

Новые направления в XR

Голосовой интерфейс будет важен для следующего поколения XR-устройств, особенно для дополненной реальности (AR). AR-очки могут иметь голосовой модуль управления, который будет работать постоянно, с распознаванием ключевых фраз типа «Hey Snapdragon», чтобы либо разбудить очки, либо вызвать конкретное действие. Будущие AR-очки могут использовать технологии компьютерного зрения и распознавания лица Snapdragon вместе с обученной нейронной сетью на устройстве для идентификации людей в комнате. С помощью этой информации приложения для AR-очков могут либо рекомендовать действия, либо автоматически предпринимать действия, такие как отображение полезной информации о людях в комнате.

AR также может изменить шопинг и совершение мобильных платежей. Например, вы можете добавлять предметы в свою корзину, просто глядя на них и нажимая на очки (или тыкая в них пальцем). Когда приходит время платить, то очки установят вашу личность (произведут сканирование сетчатки глаз) и высвободят средства для оплаты.

Эхо в крошечной комнате и ощущение простора

Полноценное звуковое окружение является необходимым условием для погружения в виртуальное пространство. Давно уже доказано, что ухо человека воспринимает звуковые сигналы частотой примерно от 16 до 20 000 Гц (колебаний в секунду), а также то, что на основе полученного звука мозг способен определять размеры пространства, направление и т.д. 100%-я подделка звукового окружения – вот что необходимо для полного погружения в виртуальное пространство.

Прекрасно зная об этом, разработчики Qualcomm в Snapdragon 845 реализовали полноценный 3D-звук, который перед воспроизведением проходит специальную обработку, исходя из условий и особенностей виртуального окружения.

Если вы стоите в виртуальной пещере, то услышите реверберацию и отражения вашего голоса так же, как и в реальной пещере.

Заключение

Все новые чипсеты Qualcomm рано или поздно оказываются в топовых устройствах смежных направлений. Например, Snapdragon APQ8064 (600) переименовали в 8065 и ставят в дорогие Wi-Fi-роутеры, Snapdragon 835 обосновался в очках дополненной реальности ODG R-8 и 9. Такая же судьба ждет и Snapdragon 845. Производитель предлагает готовый чипсет, с множеством встроенных устройств и отточенным программным обеспечением, а клиенту остается только разработать дизайн и нанять программистов (умеющих пользоваться программными инструментами Qualcomm) для создания фирменного интерфейса.

Как это отразится на пользователях смартфонов со Snapdragon 845 на борту? Проявятся ли все эти новые виртуальные фишки Qualcomm при запуске стандартных VR-приложений из Google Play? На эти вопросы рано или поздно будет дан ответ, а пока что предлагаю обсудить более важные вопросы. Как доступная и массовая виртуальная реальность может изменить наш мир? Станет ли ношение служебных VR-очков условием соблюдения дресс-кода в крупных компаниях? Кто первым уйдет в виртуальный мир?

Читайте также