Управление VR-кинозалом с Samsung 4D Gear VR

разработано для ЧУК "Еврейский музей и центр толерантности"

Цели

Автоматизация управления VR-кинозалом / 3D очками Samsung Gear VR.

  • синхронизация отправки команд управления на устройства с Android video player;

  • уменьшение ручного труда оператора 3D кинотеатра;

  • ускорение работы 3D очков.

Задача

Разработать средство управления VR-системой с оборудованием Samsung 4D Gear VR с функцией коллективного просмотра.

Требуемый функционал:

  1. добавление возможности удаленной перезагрузки 3D очков и плеера на них;

  2. синхронизация контента и системных конфигураций на 3D очках;

  3. получение команд управления 3D очками с Crestron и отправка обратной связи на него;

  4. получение телеметрии с 3D очков;

  5. уменьшение времени отклика от 3D очков путем замены протокола связи с сервером.

Заказчику требовалась система для воспроизведения 3D видео качества 6K в кинозале. Внутри шлема виртуальной реальности располагается обычный Android смартфон. Нашей команде нужно было осуществить воспроизведение контента и взаимодействие с Crestron control system, который управляет светом, звуком и эффектами.

Решение 

Система коллективного просмотра панорамных видеозаписей на Samsung Gear VR.

Для управления 3D очками мы разработали мобильное приложение для Android. Был реализован сервер ASP.NET Core для выполнения функций:

  • синхронного воспроизведения контента;
  • ведения плейлиста с доступными 6K видеофайлами, их синхронизация с 3D очками;
  • сбор телеметрии мобильных устройств (температур процессора и батареи, уровня заряда и подключения к зарядному устройству, прогресса текущего задания);
  • управление системными конфигурациями на устройствах;
  • перезапуск видеоплеера или самих 3D очков.

В составе системы реализованы:

  • Web-панель управления мобильными устройствами в виде SPA;
  • Сервис для взаимодействия со светом и звуком через Crestron Control system;
  • Сервис логирования.

Итоги

  1. Разработали новую версию серверной части системы.

  2. Добавили функционал, заявленный в задачах проекта.

  3. Реализовали удобную Web-панель управления устройствами.

  4. Ускорили работу 3D очков.

  5. Добавили сбор логов с 3D очков и компонент сервера.

Спецификация

Сфера применения
3D кинотеатры с дополнительными эффектами (аудио и тактильными), VR-системы
Назначение
Автоматизация управления 3D очками Samsung Gear VR
Тип (платформа)
Samsung Gear VR с Android 10, Сервер управления на ASP.NET Core, SPA web-панель управления.
Технологии и алгоритмы
Android NDK 17, Kotlin, C++, C# + .NET Core 3.1, работа с Crestron Control System, React + Redux, Semantic UI, Signalr, Serilogj, TusDotNet, HashDepot (xxHash)
Дополнительная информация

Фотография: jewish-museum.ru

0