ПРОЕКТ

Программное обеспечение дополненной реальности для мобильных приложений

Индивидуальная разработка AR-приложений, Приложения для Android и iOS, Отображение 3D-моделей, AR-навигация, Цифровые 3D-карты, Маркерная AR, Интеграция с backend

  • Сфера: Образование
  • Чехия Местоположение: Чехия
  • Срок реализации: 16 недели
  • Технологии: JavaScript / TypeScript (Node.js), Python
4+ месяца

Этой образовательной организации нужны интерактивные уроки с 3D-моделями, мультимедиа и языковым контентом. Также необходимы AR-карты и навигация в реальном времени в физических пространствах. Программное обеспечение дополненной реальности предоставляет команде мобильное приложение для Android и iOS: оно обрабатывает распознанные изображения, модели, учебные материалы и данные о местоположении, а пользователям показывает интерактивный 3D-контент, карты и AR-навигацию.

Краткое содержание

Проблема

Организации нужны интерактивные уроки, 3D-контент и навигация по территории университета в рамках единого мобильного пространства.

Решение

Решением стало приложение дополненной реальности с распознаваемым контентом, 3D-моделями, цифровыми картами и AR-навигацией.

Результат

Программное обеспечение создано для поддержки интерактивных уроков и навигации в мобильном пространстве организации.

История клиента

Клиент - образовательная организация из Чехии. Она предоставляет учебный контент и использует физические пространства, где студентам и посетителям нужна понятная информация.

Организация тратит время на объединение учебных материалов, 3D-моделей, карт территории университета и указателей местоположения в мобильные пространства.

Запрос был простым: создать мобильные AR-приложения для Android и iOS, поддержать определение местоположения внутри и снаружи помещений, а также связать пространство с существующим контентом и сервисами.

Решение создано вокруг модуля AR-просмотра с использованием камеры, навигационной карты, каталога контента и раздела настройки распознаваемых объектов и интерактивного контента.

Клиент хотел

  1. Создать AR-приложения для Android и iOS с поддержкой ARCore и ARKit.
  2. Поддержать определение местоположения, карты, маршруты, навигацию, геозоны и AR-маршруты.
  3. Объединить каталоги, ресурсы, профили, платежи, сообщения и существующие системы.
  4. Использовать Unity с AR Foundation для отображения интерактивного 3D-контента.

Почему готовое программное обеспечение не подошло

Готовое программное обеспечение дополненной реальности предоставляет инструменты для создания 3D-контента и объединения медиа с физическим окружением. Организации требовалось объединить распознавание, учебный контент, навигацию и поддержку мобильных устройств в одном определенном пространстве.

Обзор проекта

Решение создано вокруг единого мобильного AR-пространства для учебного контента, навигации по территории университета и распознавания физических объектов. В структуре отдельно выделены просмотр, навигация и управление контентом.

Для интерактивных уроков внедрен модуль AR-просмотра. Камера распознает изображение или объект, размещает 3D-модель в реальном окружении и показывает связанный контент.

Отдельный раздел навигации предоставляет цифровую 3D-карту, пункты назначения и выделенные маршруты. AR-стрелки и обозначение закрытых зон позволяют видеть информацию о маршруте в изображении с камеры.

В каталоге контента для AR-просмотра представлены модули, описания и 3D-модели. В разделе настройки маркеры, объекты моделей и анимации связываются с учебным контентом.

Особое внимание уделено поддержке Android и iOS, существующих сервисов и контента самой организации. Решение разделено на модули, поэтому позднее можно добавлять дополнительные формы, автоматизацию или интеграции.

Внедренные основные функции

  • AR на основе изображений и объектов
  • Интерактивное отображение 3D-моделей
  • Мобильные приложения для Android и iOS
  • Стрелки и маршруты AR-навигации
  • Цифровые 3D-карты территории университета
  • Пешеходные маршруты и закрытые зоны
  • Каталог контента и моделей
  • Настройка маркеров и объектов моделей
  • Просмотр через камеру для AR-пространств

Можно добавить

+ Голосовая навигация с преобразованием текста в речь + Алгоритмы поиска маршрутов + Определение местоположения по GPS + Геозоны + Индивидуальные маркеры карты + Мини-карты + Отслеживание лица + Взаимодействие с персонажами

Кто еще может использовать это решение

Другие компании с похожими задачами в области контента или навигации могут адаптировать это решение под свои пространства и ресурсы.

Университет или общественное пространство

Задача Нужны карты помещений или открытых территорий, ориентиры и навигация для посетителей в реальном времени.
Как помогает решение Решение связывает цифровые карты и данные о местоположении с AR-стрелками, маршрутами и маркерами мест.

Компания розничной торговли

Задача Нужно, чтобы клиенты могли просматривать, настраивать или тестировать продукты в AR-пространстве.
Как помогает решение Решение предоставляет модели продуктов, варианты, описания и интерактивные изображения с камеры.

Организатор развлечений

Задача Создается AR-медиа на основе маркеров, местоположения или интерактивности.
Как помогает решение Решение связывает распознанные объекты и физические места с моделями, слоями, играми и эффектами.

Технологический стек

JavaScript / TypeScript (Node.js)

Разработка приложений и карт

Этот набор языков поддерживает мобильное приложение и модули 3D-карт.

Python

Обработка данных о местоположении

Python обрабатывает данные протокола GPS, используемые в навигации.

@justanarthur/just-map

Связывание 3D-карт и GPS

Эта библиотека JavaScript и TypeScript предоставляет модульные 3D-карты на основе MapLibre и связывает GPS с маршрутами.

pynmeagps

Данные о местоположении NMEA

Эта библиотека Python считывает и формирует сообщения NMEA о местоположении.

@capacitor/android

Мобильные версии для Android

Этот пакет Capacitor связывает веб-приложение с мобильными версиями для Android.

@capacitor/ios

Мобильные версии для iOS

Этот пакет Capacitor связывает веб-приложение с мобильными версиями для iOS.

opencv

Компьютерное зрение камеры

Эта библиотека поддерживает обработку компьютерного зрения для задач распознавания и AR-позиционирования.

stl

Импорт 3D-геометрии

Эта библиотека считывает и записывает STL-геометрию для 3D-моделей, используемых в пространстве.

GPS

Определение местоположения

GPS предоставляет данные о местоположении для навигации вне помещений и позиционирования на карте.

Android and iOS

Поддержка мобильных платформ

Приложение работает на платформах Android и iOS и при необходимости поддерживает платформенные AR-функции.

Интеграции

ARCore

AR-система Android обеспечивает платформенную поддержку отображения цифрового контента в изображении с камеры.

ARKit

AR-система iOS обеспечивает платформенную поддержку отображения цифрового контента в изображении с камеры.

Firebase

Firebase может предоставлять облачные сервисы для данных и ресурсов приложения.

Backend services

Существующие backend-сервисы связывают приложение с данными контента, ресурсов, профилей, аутентификации, платежей, сообщений или модерации.

GPS and NMEA devices

Данные GPS о местоположении для навигации и позиционирования на карте могут передаваться в сообщениях NMEA.

Результат

Интерактивный учебный контент отображается в реальном окружении

Модуль модуль AR-просмотра превращает распознанные изображения, объекты или поверхности в интерактивное учебное представление. Студент одновременно видит 3D-модель, ее элементы управления и связанный учебный контент.

Так информация о модели остается рядом с физическим объектом, а урок не отделен от объекта, который он объясняет.

Как это работает

  1. Камера распознает изображение или объект и обнаруживает плоскую поверхность.
  2. 3D-модель размещается в реальном окружении в AR-изображении.
  3. На панели контента отображаются учебные материалы, описания моделей и элементы управления взаимодействием.
  • Распознанные изображения и объекты
  • Интерактивные 3D-модели
  • Панели учебного контента
Совет: Модуль просмотра может использовать предоставленные 3D-модели и учебные материалы как часть AR-пространства.
Модуль AR-просмотра с распознанным контентом

Модуль AR-просмотра с распознанным контентом

Функции этого экрана
Распознать изображение Включить AR-изображение Показать 3D-модель Обнаружить плоские поверхности

Посетители следуют маршрутам с видимой AR-навигацией

На экране навигации объединены изображение с камеры, выделенный пешеходный маршрут и мини-карта. Маркеры пунктов назначения и ориентиры добавляют маршруту контекст.

Результат - навигация, адаптированная под внутренние или открытые пространства организации, где AR-стрелки показывают направление движения.

Как это работает

  1. Пункт назначения, положение GPS, положение по компьютерному зрению и 3D-карта университета определяют отображение маршрута.
  2. На карте отображаются маршруты, ориентиры, здания, дорожные маркеры и закрытые зоны.
  3. В изображении с камеры показываются стрелки AR-навигации и выделенный пешеходный маршрут.
  • Выбор пункта назначения
  • Мини-карта
  • Маркеры ориентиров и зданий
Карта и маршрут AR-навигации

Карта и маршрут AR-навигации

Функции этого экрана
Показывать стрелки AR-навигации Создать цифровую 3D-карту Выделять пешеходные маршруты и закрытые зоны Находить ближайшие ориентиры Показывать мини-карту

Учебный контент и контент продуктов остаются организованными

В каталоге в одном месте представлены модули, описания и изображения. В нем также хранятся 3D-модели и их варианты для AR-просмотра.

Действие Открыть AR связывает каждый элемент каталога с его пространством камеры.

Как это работает

  1. В каталоге модули, продукты или учебные элементы группируются по категориям.
  2. В списке элементов отображаются названия, изображения, описания, 3D-модели и варианты продуктов.
  3. Действие открытия AR связывает выбранный элемент с модулем AR-просмотра.
  • Навигация по категориям
  • Поиск или список элементов
  • Просмотр элемента
Каталог контента и моделей

Каталог контента и моделей

Функции этого экрана
Включить AR-изображение Показать 3D-модель

В AR-пространствах используются заданные объекты и контент

На экране настройки связываются маркеры, объекты моделей и 3D-ресурсы. Просмотр с камеры показывает, как они объединяются.

Анимации и учебный или рекламный контент завершают настроенное взаимодействие.

Как это работает

  1. В настройках представлены маркеры изображений, логотипы или объекты моделей.
  2. Параметры ресурсов связывают 3D-модели, анимации и учебный или рекламный контент.
  3. Камера просмотра показывает настроенное AR-пространство и его взаимодействия.
  • Настройка изображения, маркера или объекта модели
  • Выбор 3D-ресурса
  • Настройка слоев и взаимодействий
Примечание: Раздел настройки адаптирован под учебный контент самой организации и распознаваемые объекты.
Настройка AR-пространства

Настройка AR-пространства

Функции этого экрана
Разработка AR-приложений Создание пространств дополненной реальности Внедрение AR-функций

Что дает решение

С помощью этого решения организация может:

  • Проводить интерактивные уроки с 3D-моделями в реальном окружении.
  • Направлять студентов и посетителей внутри помещений и на открытых территориях.
  • Хранить AR-элементы обучения, описания, изображения и модели в одном каталоге.
  • Связывать распознаваемые объекты с учебным контентом и анимациями.
  • Поддерживать пространства Android и iOS с платформенными AR-системами.
  • Добавлять функции навигации, определения местоположения и контента по мере развития системы.

В заключение

В итоге решение создано для объединения учебного контента и физических пространств организации в интерактивные AR-уроки и навигацию.

ЧАСТЫЕ ВОПРОСЫ

Думаете о создании похожей системы? Ознакомьтесь с ответами ниже и узнайте, как сочетаются основные решения для AR, навигации, контента и реализации.