PROJEKTAS

Papildytos realybės navigacijos programinė įranga mobiliosioms programėlėms

Individualus AR programėlių kūrimas, Android ir iOS programėlės, 3D modelių rodymas, AR navigacija, Skaitmeniniai 3D žemėlapiai, Žymekliais pagrįsta AR, Backend integracija

  • Sritis: Švietimas
  • Čekija Vieta: Čekija
  • Įgyvendinimo trukmė: 16 savaitės
  • Technologijos: JavaScript / TypeScript (Node.js), Python
4+ mėnesiai

Šiai švietimo institucijai reikia interaktyvių pamokų su 3D modeliais, multimedija ir kalbiniu turiniu. Taip pat reikia AR žemėlapių ir navigacijos realiuoju laiku fizinėse erdvėse. Papildytos realybės programinė įranga suteikia komandai Android ir iOS mobiliąją programėlę: ji apdoroja atpažintus vaizdus, modelius, mokomąją medžiagą ir vietos duomenis, o naudotojams pateikia interaktyvų 3D turinį, žemėlapių vaizdus ir AR navigaciją.

Santrauka

Problema

Institucijai reikia interaktyvių pamokų, 3D turinio ir navigacijos universiteto teritorijoje, kurie veiktų vienoje mobiliojoje patirtyje.

Sprendimas

Sprendimas tapo papildytos realybės programėle su atpažįstamu turiniu, 3D modeliais, skaitmeniniais žemėlapiais ir AR navigacija.

Rezultatas

Programinė įranga sukurta interaktyvioms pamokoms ir navigacijai institucijos mobiliojoje patirtyje palaikyti.

Kliento istorija

Klientas yra švietimo institucija iš Čekijos. Ji teikia mokomąjį turinį ir naudoja fizines erdves, kuriose studentams ir lankytojams reikia aiškios informacijos.

Institucija skiria laiko mokomosios medžiagos, 3D modelių, universiteto teritorijos žemėlapių ir vietos nuorodų sujungimui į mobiliuosiuose įrenginiuose veikiančias patirtis.

Prašymas buvo paprastas: sukurti Android ir iOS mobiliąsias AR programėles, palaikyti vietos nustatymą patalpose ir lauke bei susieti patirtį su esamu turiniu ir paslaugomis.

Sprendimas sukurtas aplink kamerą naudojantį AR peržiūros modulį, navigacijos žemėlapį, turinio katalogą ir konfigūravimo sritį atpažįstamiems objektams bei interaktyviam turiniui.

Klientas pageidavo

  1. Sukurti Android ir iOS AR programėles su ARCore ir ARKit palaikymu.
  2. Palaikyti vietos nustatymą, žemėlapius, maršrutus, navigaciją, geotvoras ir AR kelius.
  3. Sujungti katalogus, išteklius, profilius, mokėjimus, žinutes ir esamas sistemas.
  4. Naudoti Unity su AR Foundation interaktyviam 3D turiniui rodyti.

Kodėl netiko paruošta programinė įranga

Paruošta papildytos realybės programinė įranga suteikia įrankius 3D turiniui kurti ir medijai su fizine aplinka sujungti. Institucijai reikėjo vienoje apibrėžtoje patirtyje sujungti atpažinimą, mokomąjį turinį, navigaciją ir mobiliųjų įrenginių palaikymą.

Projekto apžvalga

Sprendimas sukurtas aplink vieną mobiliąją AR patirtį mokomajam turiniui, navigacijai universiteto teritorijoje ir atpažįstamiems fiziniams objektams. Struktūroje atskirtas peržiūros, navigacijos ir turinio valdymas.

Interaktyvioms pamokoms įdiegtas AR peržiūros modulis. Kamera atpažįsta vaizdą arba objektą, patalpina 3D modelį realioje aplinkoje ir rodo susijusį turinį.

Atskira navigacijos sritis pateikia skaitmeninį 3D žemėlapį, paskirties vietas ir paryškintus maršrutus. AR rodyklės ir uždarų zonų žymėjimas leidžia matyti maršruto informaciją kameros vaizde.

Turinio kataloge AR peržiūrai pateikiami moduliai, aprašymai ir 3D modeliai. Konfigūravimo srityje žymekliai, modelių objektai ir animacijos susiejami su mokomuoju turiniu.

Ypatingas dėmesys skirtas Android ir iOS palaikymui, esamoms paslaugoms ir pačios institucijos turiniui. Sprendimas suskirstytas į modulius, todėl vėliau galima pridėti papildomas formas, automatizavimą ar integracijas.

Įdiegtos pagrindinės funkcijos

  • Vaizdais ir objektais pagrįsta AR
  • Interaktyvus 3D modelių rodymas
  • Android ir iOS mobiliosios programėlės
  • AR navigacijos rodyklės ir maršrutai
  • Skaitmeniniai 3D universiteto teritorijos žemėlapiai
  • Pėsčiųjų keliai ir uždaros zonos
  • Turinio ir modelių katalogas
  • Žymeklių ir modelių objektų konfigūravimas
  • Kameros peržiūra AR patirtims

Galima pridėti

+ Navigacija balsu su teksto keitimu į kalbą + Maršruto paieškos algoritmai + GPS vietos nustatymas + Geotvoros + Individualūs žemėlapio žymekliai + Mini žemėlapiai + Veido sekimas + Sąveika su veikėjais

Kas dar gali naudoti šį sprendimą

Kitos įmonės, atliekančios panašią turinio ar navigacijos užduotį, gali pritaikyti tą patį sprendimą savo erdvėms ir ištekliams.

Universitetas arba viešoji erdvė

Užduotis Reikalingi vidaus arba lauko žemėlapiai, orientyrai ir navigacija lankytojams realiuoju laiku.
Kaip sprendimas padeda Sprendimas susieja skaitmeninius žemėlapius ir vietos duomenis su AR rodyklėmis, keliais ir vietos žymekliais.

Mažmeninės prekybos produktų įmonė

Užduotis Norima, kad klientai galėtų AR aplinkoje peržiūrėti, pritaikyti ar išbandyti produktus.
Kaip sprendimas padeda Sprendimas pateikia produktų modelius, variantus, aprašymus ir interaktyvius kameros vaizdus.

Pramogų organizatorius

Užduotis Kuriama žymekliais, vieta ar interaktyvumu pagrįsta AR medija.
Kaip sprendimas padeda Sprendimas susieja atpažintus objektus ir fizines vietas su modeliais, sluoksniais, žaidimais ir efektais.

Technologijų rinkinys

JavaScript / TypeScript (Node.js)

Programėlių ir žemėlapių kūrimas

Šis kalbų rinkinys palaiko mobiliąją programėlę ir 3D žemėlapių modulius.

Python

Vietos duomenų apdorojimas

Python apdoroja GPS protokolo duomenis, naudojamus navigacijos patirtyje.

@justanarthur/just-map

3D žemėlapių ir GPS susiejimas

Ši JavaScript ir TypeScript biblioteka teikia modulinius MapLibre pagrįstus 3D žemėlapius ir GPS susiejimą su keliais.

pynmeagps

NMEA vietos duomenys

Ši Python biblioteka skaito ir generuoja NMEA vietos nustatymo pranešimus.

@capacitor/android

Android mobiliosios versijos

Šis Capacitor paketas sujungia žiniatinklio programėlę su Android mobiliosiomis versijomis.

@capacitor/ios

iOS mobiliosios versijos

Šis Capacitor paketas sujungia žiniatinklio programėlę su iOS mobiliosiomis versijomis.

opencv

Kameros kompiuterinė rega

Ši biblioteka palaiko kompiuterinės regos apdorojimą atpažinimo ir AR vietos nustatymo užduotims.

stl

3D geometrijos importas

Ši biblioteka skaito ir įrašo STL geometriją patirtyje naudojamiems 3D modeliams.

GPS

Vietos nustatymas

GPS teikia vietos duomenis lauko navigacijai ir vietos nustatymui žemėlapyje.

Android and iOS

Mobiliųjų platformų palaikymas

Programėlė veikia Android ir iOS platformose, o prireikus palaiko konkrečioms platformoms skirtas AR funkcijas.

Integracijos

ARCore

Android AR sistema teikia konkrečiai platformai skirtą palaikymą skaitmeniniam turiniui rodyti kameros vaizde.

ARKit

iOS AR sistema teikia konkrečiai platformai skirtą palaikymą skaitmeniniam turiniui rodyti kameros vaizde.

Firebase

Firebase gali teikti debesijos paslaugas programėlės duomenims ir ištekliams.

Backend services

Esamos backend paslaugos sujungia programėlę su turinio, išteklių, profilių, autentifikavimo, mokėjimų, žinučių ar moderavimo duomenimis.

GPS and NMEA devices

GPS vietos duomenys navigacijai ir vietos nustatymui žemėlapyje gali būti perduodami NMEA pranešimais.

Rezultatas

Interaktyvus mokomasis turinys rodomas realioje aplinkoje

Modulis AR peržiūros modulis atpažintus vaizdus, objektus ar paviršius paverčia interaktyviu mokomuoju vaizdu. Studentas kartu mato 3D modelį, jo valdiklius ir susijusį mokomąjį turinį.

Taip modelio informacija lieka šalia fizinio objekto, o pamoka neatskiriama nuo objekto, kurį ji aiškina.

Kaip tai veikia

  1. Kamera atpažįsta vaizdą arba objektą ir aptinka plokščią paviršių.
  2. AR vaizde 3D modelis patalpinamas realioje aplinkoje.
  3. Turinio skydelyje rodoma mokomoji medžiaga, modelių aprašymai ir sąveikos valdikliai.
  • Atpažinti vaizdai ir objektai
  • Interaktyvūs 3D modeliai
  • Mokomojo turinio skydeliai
Patarimas: Peržiūros modulis gali naudoti pateiktus 3D modelius ir mokomąją medžiagą kaip AR patirties dalį.
AR peržiūros modulis su atpažintu turiniu

AR peržiūros modulis su atpažintu turiniu

Šio ekrano funkcijos
Atpažinti vaizdą Įjungti AR vaizdą Rodyti 3D modelį Aptikti plokščius paviršius

Lankytojai seka maršrutus su matoma AR navigacija

Navigacijos ekrane sujungiami kameros vaizdas, paryškintas pėsčiųjų kelias ir mini žemėlapis. Paskirties žymekliai ir orientyrai suteikia maršrutui kontekstą.

Rezultatas - navigacijos patirtis, pritaikyta institucijos vidaus ar lauko erdvėms, o AR rodyklės rodo kryptį pirmyn.

Kaip tai veikia

  1. Paskirties vieta, GPS padėtis, kompiuterinės regos padėtis ir universiteto 3D žemėlapis apibrėžia maršruto vaizdą.
  2. Žemėlapyje rodomi maršrutai, orientyrai, pastatai, kelio žymekliai ir uždaros zonos.
  3. Kameros vaizde rodomos AR navigacijos rodyklės ir paryškintas pėsčiųjų kelias.
  • Paskirties vietos pasirinkimas
  • Mini žemėlapis
  • Orientyrų ir pastatų žymekliai
AR navigacijos žemėlapis ir maršrutas

AR navigacijos žemėlapis ir maršrutas

Šio ekrano funkcijos
Rodyti AR navigacijos rodykles Sukurti skaitmeninį 3D žemėlapį Paryškinti pėsčiųjų kelius ir uždaras zonas Rasti netoliese esančius orientyrus Rodyti mini žemėlapį

Mokomasis ir produktų turinys išlieka tvarkingas

Kataloge vienoje vietoje pateikiami moduliai, aprašymai ir vaizdai. Jame taip pat saugomi AR peržiūrai skirti 3D modeliai ir jų variantai.

Veiksmas Atidaryti AR susieja kiekvieną katalogo elementą su jo kameros patirtimi.

Kaip tai veikia

  1. Kataloge moduliai, produktai ar mokymosi elementai grupuojami pagal kategorijas.
  2. Elementų sąraše rodomi pavadinimai, vaizdai, aprašymai, 3D modeliai ir produktų variantai.
  3. AR atidarymo veiksmas susieja pasirinktą elementą su AR peržiūros moduliu.
  • Naršymas pagal kategorijas
  • Paieška arba elementų sąrašas
  • Elemento peržiūra
Turinio ir modelių katalogas

Turinio ir modelių katalogas

Šio ekrano funkcijos
Įjungti AR vaizdą Rodyti 3D modelį

AR patirtyse naudojami apibrėžti objektai ir turinys

Konfigūravimo ekrane susiejami žymekliai, modelių objektai ir 3D ištekliai. Kameros peržiūra parodo, kaip jie sujungiami.

Animacijos ir mokomasis arba reklaminis turinys užbaigia sukonfigūruotą sąveiką.

Kaip tai veikia

  1. Konfigūracijoje pateikiami vaizdų žymekliai, logotipai arba modelių objektai.
  2. Išteklių nustatymai susieja 3D modelius, animacijas ir mokomąjį arba reklaminį turinį.
  3. Peržiūros kamera rodo sukonfigūruotą AR patirtį ir jos sąveikas.
  • Vaizdo, žymeklio arba modelio objekto nustatymas
  • 3D ištekliaus pasirinkimas
  • Sluoksnių ir sąveikos nustatymai
Pastaba: Konfigūravimo sritis pritaikyta pačios institucijos mokomajam turiniui ir atpažįstamiems objektams.
AR patirties konfigūravimas

AR patirties konfigūravimas

Šio ekrano funkcijos
AR programėlių kūrimas Kurti papildytos realybės patirtis Įgyvendinti AR funkcijas

Ką suteikia sprendimas

Naudodamasi šiuo sprendimu institucija gali:

  • Pristatyti interaktyvias pamokas su 3D modeliais realioje aplinkoje.
  • Nukreipti studentus ir lankytojus vidaus arba lauko erdvėse.
  • Viename kataloge laikyti AR mokymosi elementus, aprašymus, vaizdus ir modelius.
  • Susieti atpažįstamus objektus su mokomuoju turiniu ir animacijomis.
  • Palaikyti Android ir iOS patirtis su konkrečioms platformoms skirtomis AR sistemomis.
  • Augant sistemai pridėti navigacijos, vietos nustatymo ir turinio funkcijų.

Pabaigai

Galiausiai sprendimas sukurtas tam, kad institucijos mokomąjį turinį ir fizines erdves sujungtų į interaktyvias AR pamokas ir navigaciją.

DUK

Svarstote kurti panašią sistemą? Perskaitykite toliau pateiktus atsakymus ir sužinokite, kaip tarpusavyje dera pagrindiniai AR, navigacijos, turinio ir įgyvendinimo sprendimai.